摘要: 研究背景
近年来，建设智慧城市已经成为我国的重要发展方向之一，在建设智慧数字城市的过程中，基于图像重建大规模三维虚拟城市是不可或缺的一环，在智能导航、交通管理等方面具有广泛的应用前景。建筑立面分析则是智慧数字城市建设中的核心基础部分，广泛的内涵包括了立面结构分析、建筑风格分析、建筑用途分类与建筑布局分析等等，并且在后续也有广泛的应用场景。窗户识别作为建筑立面分析中最为主要的构成环节之一，高质量的窗户检测结果有助于其他应用的开展。举例来说，在三维建筑重建过程中，高精度窗户识别结果不仅能简化模型的重建还能提升重建效果的真实感。
另一方面，伴随着5G业务种类的持续增加、行业边界的不断扩展，业界预测未来更多的移动业务将发生在室内。由于5G业务对超大频谱带宽的要求，5G网络通常部署在C-Band和毫米波频段。然而5G室外基站的高频信号在穿透建筑外墙覆盖室内场景时，将会遇到极大的链路损耗，使得室外覆盖室内变得异常困难。相比于厚实的建筑外墙，5G高频信号通过开放的窗户或者穿透玻璃的损耗会相对较少。因此，为了使得室外5G基站信号能够更好地覆盖室内，提供优质的室内场景5G业务体验，研究如何得到高质量的窗户检测结果成为了一个重要问题。
目的
所提出的方法能够在现实世界复杂、多样的立面场景中，克服由于内部特征（立面结构、风格多样等）与外部特征（遮挡、光影、反射等）带来的识别困难，从而准确地、鲁棒地、高效地识别窗户区域。
方法
本文提出了一个基于多热力图融合的立面窗户检测方法，用于准确鲁棒地从彩色建筑立面图像中检测窗户。通过端到端地学习并预测多热力图，将窗户的关键点定位、聚类与中心点验证统一到了一个整体框架内。本文引入关联嵌入特征概念，利用标签图编码关键点间关系，将不同类的关键点进行匹配，形成聚类，得到初步的窗户检测结果。然后利用学习得到的窗户中心点概率分布，建立中心点验证模块，筛除错误检测，进一步提升精确度。该方法对于复杂、不规则的建筑立面更为鲁棒，能更加准确地识别窗户区域。
本文构建了一个建筑立面图像数据集，其中包含对窗户的标注，过程中经历了图像采集、筛选、标注、数据清洗等环节，最终建立了一个含有3418张标注样本的数据集。该数据集中的立面图像具有丰富的多样性，包括不同建筑风格、视角、光影变化、立面元素分布等等，能够较好地涵盖真实世界的建筑场景。
结果
基于本文所构建的数据集，本文首先与基于AdaBoost的方法、基于PAFs（Part Affinity Fields）的方法进行对比实验，然后基于公开测试集与其他学界前沿工作进行对比实验，定量与定性的结果表明我们的方法更为出色。基于PAFs的匹配受限于窗户分布的密集度与规则性，而基于标签图的匹配则很好地避免了这个问题，使方法在高密度立面，复杂立面上有更好的结果。然后，本文也结合可视化中间结果，深入讨论分析了方法的限制在于关键点预测的质量。最后，基于本文提出的窗户检测系统，我们开发并展示了立面对称性检测、立面纹理混合、立面美化的应用。
结论
本文针对建筑立面窗户检测问题，设计了基于多热力图融合的窗户关键点检测、聚类、中心点验证系统，能够有效地、准确地从建筑立面中检测出窗户区域。所提出的方法的高精度窗户检测结果在后续应用在相关图形、图像应用中都取得了不错的结果，因此具有一定应用价值。为了进一步提升所提出的方法，建立更丰富的数据集、提升关键点预测质量、更好地结合立面先验知识是未来工作的计划。