连接自监督学习中的节点：给初学者的一篇简要综述
Connecting the Dots in Self-Supervised Learning: A Brief Survey for Beginners
-
摘要: 1、研究背景（context）：自监督学习算法具有从大量未标记的数据中学习高质量的数据表征能力，近年来在人工智能社区以及人工智能以外的领域（例如蛋白质结构预测）都取得了巨大进展。随着自然语言处理和计算机视觉的不断发展，自监督学习领域的算法层出不穷。然而，初学者很难从大量出版物中清楚地了解自监督学习算法的进展情况。此外，现有的关于自监督学习算法的综述论文趋向于包含更多论文，以至于读者对自监督学习进行文献调研时，难以在不同领域间构建联系。
2、目的（Objective）：本文从每个领域中选择了一些对自监督学习发展具有里程碑意义的论文和重要的论文。我们将这些论文描述为节点，并尝试在不同领域的节点论文之间建立联系。相比于简单的列出或分类这些论文，本文通过建立论文间的联系，试图解析自监督学习算法的演变过程，以及不同的领域论文是如何相互启发和进步的。
3、方法（Method）：本文将各个领域中被引用次数较多的论文作为节点论文选择的标准。首先，本文选择每个领域中表征学习的热门工作。同时考虑到深度学习技术从2013年开始流行，因此本文仅考虑2013年以后发表的论文。
4、结果（Result & Findings）：通过将自监督学习在各个领域的节点工作联系起来，本文使读者对自监督学习的发展产生全局的理解，并了解自监督学习在多个学科，即自然语言处理、计算机视觉、图学习、音频处理和蛋白质学习中，是如何相互影响，启发和发展的。最后，本文还讨论了自监督学习在未来的主要挑战和潜在的解决方案。
5、结论（Conclusions）：本文在文本、图像、图等不同数据上，构建了自监督学习算法重要工作的发展路径。不仅揭示了自监督学习在不同学科间的进展路径，也清晰地展示了不同学科之间的相互影响和启发过程。例如，自然语言处理领域发明的Transformer架构启发了计算机视觉领域ViT的发展，计算机视觉领域的对比学习范式影响了图学习/音频学习等领域的发展。因此，学科之间不是隔绝和相互独立的，不同学科的发展会受到其它学科的启发，跨学科的研究是产生有影响力工作的有效途径。
Abstract: The artificial intelligence (AI) community has recently made tremendous progress in developing self-supervised learning (SSL) algorithms that can learn high-quality data representations from massive amounts of unlabeled data. These methods brought great results even to the fields outside of AI. Due to the joint efforts of researchers in various areas, new SSL methods come out daily. However, such a sheer number of publications make it difficult for beginners to see clearly how the subject progresses. This survey bridges this gap by carefully selecting a small portion of papers that we believe are milestones or essential work. We see these researches as the "dots" of SSL and connect them through how they evolve. Hopefully, by viewing the connections of these dots, readers will have a high-level picture of the development of SSL across multiple disciplines including natural language processing, computer vision, graph learning, audio processing, and protein learning.
下载: