We use cookies to improve your experience with our site.
吉阳生, 陈家骏, 牛罡, 商琳, 戴新宇. 基于多视图主成分分析的迁移学习方法[J]. 计算机科学技术学报, 2011, 26(1): 81-98. DOI: 10.1007/s11390-011-1113-z
引用本文: 吉阳生, 陈家骏, 牛罡, 商琳, 戴新宇. 基于多视图主成分分析的迁移学习方法[J]. 计算机科学技术学报, 2011, 26(1): 81-98. DOI: 10.1007/s11390-011-1113-z
Yang-Sheng Ji, Jia-Jun Chen, Gang Niu, Lin Shang, Xin-Yu Dai. Transfer Learning via Multi-View Principal Component Analysis[J]. Journal of Computer Science and Technology, 2011, 26(1): 81-98. DOI: 10.1007/s11390-011-1113-z
Citation: Yang-Sheng Ji, Jia-Jun Chen, Gang Niu, Lin Shang, Xin-Yu Dai. Transfer Learning via Multi-View Principal Component Analysis[J]. Journal of Computer Science and Technology, 2011, 26(1): 81-98. DOI: 10.1007/s11390-011-1113-z

基于多视图主成分分析的迁移学习方法

Transfer Learning via Multi-View Principal Component Analysis

  • 摘要: 随着Web2.0时代的到来,论坛、电子商务、社交网络、各种产品评论网站迅速发展,用户得以更加自由地在网上表达自己的意见。随之而来的是网络上越来越多的意见性文本,使得用户或者企业了解其他人对于各种对象的意见成为可能;另一方面,难点是信息的数量巨大,人工所能阅读的数量极其有限。对于某一特定领域,通过标记部分数据,进行监督式学习来判断文本的情感倾向是一种自动的文本分析技术。然而随着用户产生文本的速度越来越快,以及文本领域的不断变化,监督式学习要求给不同的领域标记大量文本,这需要花费昂贵的代价。如何利用已标记领域学习到的知识,帮助未标记的领域的文本的分析,成为最近热门的研究课题,被称为迁移学习。其中已标记领域和未标记领域,分别称为源领域和目标领域。迁移学习不同于传统监督学习之处在于,目标领域和源领域数据分布差别很大,这种数据分布的差异不满足监督学习对于数据独立同分布的要求。在已经提出的迁移学习方法中,有一类方法是通过分析中枢特征(bridge/pivot features)与所有领域其他特征之间的关联,来帮助知识的迁移;这种中枢特征与其他特征之间的联系是一种“单视图”的关联。尽管这样的关联可以帮助知识在不同领域间迁移,但是单视图特征关联,不可避免的包含了冲突特征关联。这种冲突特征关联限制了单视图迁移学习方法性能的进一步提升。本文提出了一种基于多视图特征关联的迁移学习方法MVPCA来解决这样的问题。MVPCA将中枢特征与每个领域的独有特征之间的关联分别对待,形成一个多视图的特征关联,这样的多个视图将冲突的特征分隔开,不会在单个视图中产生冲突特征关联,因此MVPCA可以更清晰地刻画领域特有的知识和普适的知识,以促进迁移学习性能的提高。本文的实验采用两类文本数据,一类是产品评论的情感文本Multi-domain Sentiment Data,另外一类是20Newsgroups,传统的话题分类文本。实验结果显示,相比基线方法和单视图迁移学习方法SCL,MVPCA可以显著的降低领域迁移所带来的分类误差;而且本文发现将多视图的信息和单视图信息结合后引入MVPCA,性能得到提升;人工引入更多的冲突特征时,SCL方法的性能退化到基线性能以下,这种现象被称为无效迁移(negative transfer),相比于基线方法,本文提出的MVPCA在此情况下,能保证性能稍有提高或者基本持平,能够一定程度上避免无效迁移。在未来的工作中,仍需研究的问题:(1)造成无效迁移的关键因素,以及如何找到更普适的迁移学习方法避免无效迁移;(2)典型相关分析,是一个用来分析多组变量之间相关性的统计分析工具;如何将典型相关分析应用到迁移学习中来,是一个有趣的题目;(3)如何选取一组更有效的中枢特征。

     

    Abstract: Transfer learning aims at leveraging the knowledge in labeled source domains to predict the unlabeled data in a target domain, where the distributions are different in domains. Among various methods for transfer learning, one kind of algorithms focus on the correspondence between bridge features and all the other specific features from different domains, and later conduct transfer learning via the single-view correspondence. However, the single-view correspondence may prevent these algorithms from further improvement due to the problem of incorrect correlation discovery. To tackle this problem, we propose a new method for transfer learning in a multi-view correspondence perspective, which is called Multi-View Principal Component Analysis (MVPCA) approach. MVPCA discovers the correspondence between bridge features representative across all domains and specific features from different domains respectively, and conducts the transfer learning by dimensionality reduction in a multi-view way, which can better depict the knowledge transfer. Experiments show that MVPCA can significantly reduce the cross domain prediction error of a baseline non-transfer method. With multi-view correspondence information incorporated to the single-view transfer learning method, MVPCA can further improve the performance of one state-of-the-art single-view method.

     

/

返回文章
返回