PESTA:一种灵活的运动捕捉数据检索算法
PESTA: An Elastic Motion Capture Data Retrieval Method
-
摘要:研究背景 在过去的10年中,硬件敏捷开发方法得到了广泛应用,特别是学术界提出了大量的新方法、新工具、新流程以加速处理器芯片开发。然而,工业界仍然对敏捷开发方法持有怀疑态度,尤其是在面对复杂处理器的功能验证问题时,其可适用性仍未得到广泛的实践检验。目的 为了解决在检索运动捕捉数据时遇到的未裁剪、未标注、奇异帧等问题,我们致力于设计一种基于内容的、无监督的、对奇异帧鲁棒的、可进行子序列级别检索的运动捕捉检索算法。方法 我们提出的PESTA算法是一种通过对姿态进行编码,并对得到的编码序列进行灵活匹配的子序列检索算法。我们使用无监督的对抗自编码器对数据库中的所有姿态(帧)进行聚类以灵活获取姿态字典,并基于字典对任何运动捕捉序列进行去冗余的编码。随后我们使用编码后的查询序列在编码后的数据库中进行灵活的时序对齐,以检索与之最相似的序列。此外,针对在长被检序列中连续进行多次子序列检索的使用场景,我们提出了一种灵活的提升检索效率的扩展方案。结果 我们在两个公开数据集和一个自采数据集上分别对算法的完整序列检索、子序列检索以及针对长被检序列的子序列检索进行了测试。我们算法整体的准确度以及不同运动类别的准确度均明显优于对比工作。针对较长被检索序列的场景,我们的扩展方案可以在轻微牺牲准确度的情况下显著提升检索效率。此外,我们针对算法的编码部分和时序对齐部分进行了消融实验。实验证明两部分均有较好的效果。另外,编码算法由于其灵活性,可以在准确率和效率之间进行平衡,而时序对齐算法凭借其灵活性,在针对奇异帧的抗干扰的实验中取得了优秀的效果。结论 通过实验我们验证了算法在针对未裁剪、未标注、有奇异帧的运动捕捉数据完整序列和子序列检索场景时的有效性,为更有效的数据重用提供了解决方案。同时,通过更改查询序列的数据形式,我们的算法可以实现更丰富的应用,例如将查询序列改为运动视频,通过提取视频中的人物姿态实现基于视频的运动捕捉数据检索。此外,我们算法的框架也可以被应用到其他领域。对于任意由时间序列组成的数据集,均可使用字典编码和灵活时序对齐的方法实现完整序列或子序列检索。Abstract: Prevalent use of motion capture (MoCap) produces large volumes of data and MoCap data retrieval becomes crucial for efficient data reuse. MoCap clips may not be neatly segmented and labeled, increasing the difficulty of retrieval. In order to effectively retrieve such data, we propose an elastic content-based retrieval scheme via unsupervised posture encoding and strided temporal alignment (PESTA) in this work. It retrieves similarities at the sub-sequence level, achieves robustness against singular frames and enables control of tradeoff between precision and efficiency. It firstly learns a dictionary of encoded postures utilizing unsupervised adversarial autoencoder techniques and, based on which, compactly symbolizes any MoCap sequence. Secondly, it conducts strided temporal alignment to align a query sequence to repository sequences to retrieve the best-matching sub-sequences from the repository. Further, it extends to find matches for multiple sub-queries in a long query at sharply promoted efficiency and minutely sacrificed precision. Outstanding performance of the proposed scheme is well demonstrated by experiments on two public MoCap datasets and one MoCap dataset captured by ourselves.