摘要: 1、研究背景（context）：用现有方法预测无纹理背景区域上的、由局部单应关系关联的四个指定点的运动是非常困难的。光流方法单独预测四个指定点的运动，没有考虑其相关性。已有目标跟踪方法不适合跟踪背景上的点，因为它们通常用于跟踪前景对象，如行人、动物、自行车、车辆等。与待跟踪的指定点定义的背景区域相比，这些被跟踪的对象具有更多的鉴别特征。单应性估计方法考虑了四个指定点在同一平面上的特性。然而，在四个指定点的区域内，几乎无法检测到特征。在这种情况下，基于模板的单应性矩阵估计方法无法得到合理的局部单应矩阵。如果输入完整图像，在两帧中提取并匹配特征然后再去除异常值，这样几乎所有匹配的特征被利用去估计出了一个全局的单应性矩阵。当指定的平面需要估计局部单应性矩阵时，使用现有方法为指定平面区域选择相关特征是非常困难的。如果直接使用已有的平面检测方法，用平面掩模过滤特征点，可能会忽略平面边缘的重要特征点。此外，这些平面检测方法对较小的平面区域不具有鲁棒性。如果没有与指定平面相关的足够的对应特征，估计的单应性矩阵就会偏离实际的单应性矩阵。
2、目的（Objective）：本文目的是通过提出一个少纹理的局部单应性矩阵的深度数据集和上下文感知的两阶段深度神经网络的方法，来改善目前难以估计少纹理区域的局部单应性矩阵的窘境。
3、方法（Method）：我们使用最先进的光流方法RAFT来分别计算下一帧中每个点的大致位置。然后我们采用热图来表示指定点的位置，并尝试通过两阶段网络对其进行优化。第一阶段包含两个编码器分支（位置编码器和上下文编码器）和一个解码器，第二阶段包含迭代优化模块（IHRM）。我们以有监督的方式改进了带有局部单应性约束的RAFT算法的结果。通过聚合其他三个点的空间信息来优化每个点的位置。根据四点参数化的设置，我们的网络通过联合监督四个指定点的位置来学习指定平面的局部单应性矩阵。此外，除了四个指定点的内部区域外，我们还利用上下文编码器来补充周围边缘的特征，尤其是当指定平面内的特征很少时，这会带来很大的好处。由于双编码器结构和局部单应性矩阵监督，我们的网络可以获得细粒度的预测。在第二阶段，受迭代方法在其他领域的成功启发，我们提出利用迭代优化模块反复细化四个指定点的位置。在每次迭代中，预测都受到指定点的局部单应性矩阵的约束，这与第一阶段相同。经过多次迭代和中间监督，我们可以得到更精确的细粒度预测。我们在基于ScanNet构造了少纹理局部单应性矩阵估计的数据集ScanDPT，并在此数据集上验证了我们的方法显著地改善了现有的方法。
4、结果（Result & Findings）：在ScanDPT数据集上，关于前120帧指定四个点的平均跟踪误差，我们的方法MSE误差比已有的SOTA方法RAFT低29%。
5、结论（Conclusions）：在这项工作中，我们提出了一种新的网络来解决少纹理平面区域跟踪的实际问题，即指定点跟踪。现有的基于模板的方法只能跟踪有纹理的对象，因为在无纹理平面区域的模板中，特征是罕见的。另一方面，以完整图像的输入为参考，现有方法不能很好地处理四个指定点的先验：局部单应性。我们的网络以有监督的方式学习四个指定点的先验相关性，即使输入完整的图像。我们利用光流法RAFT预测四个点初始位置，然后我们的模型通过双编码器结构在中间预测四个点位置，并使用递归模块进一步优化它们。此外，为了训练和评估我们的网络，我们提出了第一个少纹理的局部单应性矩阵估计数据集ScanDPT。最后我们利用对比实验和消融研究证明了我们的网络设计的有效性，并显示了我们的方法相对于其他方法的优越性，这说明，利用上下文感知模块提取少纹理区域外面的边缘信息，对于少纹理平面区域的跟踪是有帮助的，然后进行迭代优化对于此任务也是有帮助的。