360度图像和视频在混合现实中的应用综述
A Survey on 360° Images and Videos in Mixed Reality: Algorithms and Applications
-
摘要:研究背景 混合现实技术可以为人们提供实时沉浸式体验，为娱乐、教育和丰富体验提供了巨大机遇。然而对于普通用户来说，这些体验由于安全上的考虑或成本上的原因而无法直接获得。随着元宇宙的热潮，这一领域的研究近年来备受关注。最近兴起的全向图像和视频，即360度图像和视频，提供了一种经济实惠的方式来捕捉和呈现动态的现实场景。在过去的十年中，受到人工智能和计算摄影技术的快速发展的推动，很多研究者开始关注使用360度图像和视频的混合现实系统，以释放元宇宙及相关技术的真正潜力。目的 在本综述论文中，我们总结了在该领域最近的研究，旨在涵盖最近一些年来在360°图像和视频处理技术及其在混合现实中的应用工作，促进本领域的研究发展。方法 我们首先使用Google学术搜索文献，如论文、章节、技术报告、论文、评论和书籍，以确定相关的论文。考虑到研究人员用于指称“360度图像/视频”和“虚拟现实/混合现实”应用的术语范围很广，本文作者最初在搜索中使用的关键词是：“增强现实”OR“混合现实”OR“虚拟现实”OR“VR”AND“全向视频”OR“全景视频”OR“虚拟现实视频”OR“沉浸式视频”OR“全景图像”OR“360”OR“全向图像”。我们在最初的搜索结果1010篇论文中，筛选了发表在相关领域重要会议和期刊上的论文，并对引用相对较高的论文进行跟踪，以查找更多的相关文献。结果与结论 本文将搜索到的文章按照研究问题进行了分类与整理。从“360度图像和视频内容的理解”和“360度全景内容在虚拟现实中的应用”两大方面，对相关工作进行了归纳总结。在文章最后，我们展望了该领域的前景和亟待解决的研究问题。Abstract: Mixed reality technologies provide real-time and immersive experiences, which bring tremendous opportunities in entertainment, education, and enriched experiences that are not directly accessible owing to safety or cost. The research in this field has been in the spotlight in the last few years as the metaverse went viral. The recently emerging omnidirectional video streams, i.e., 360° videos, provide an affordable way to capture and present dynamic real-world scenes. In the last decade, fueled by the rapid development of artificial intelligence and computational photography technologies, the research interests in mixed reality systems using 360° videos with richer and more realistic experiences are dramatically increased to unlock the true potential of the metaverse. In this survey, we cover recent research aimed at addressing the above issues in the 360° image and video processing technologies and applications for mixed reality. The survey summarizes the contributions of the recent research and describes potential future research directions about 360° media in the field of mixed reality.
下载: