We use cookies to improve your experience with our site.

用于监督学习的具有层次结构的多边体自适应共振理论映射网络

Hierarchical Polytope ARTMAP for Supervised Learning

  • 摘要: 1.实用价值或应用前景
      基于自适应共振理论的这一大类神经网络,尤其是以在经验风险最小化框架下的FuzzyARTMAP (FAM)为代表的算法在模式分类领域取得了不错的表现,但是仍然有两点需要关注:1) FAM 使用与轴平行的超长方体作为各个机器学习问题的假设,概念空间的表达与学习机器假设空间的表达之间的差别被称作“知识表达误差”,当样本分布较复杂时便会出现这样的误差,并且这个误差会随着不同的数据分布而变化;2) 当存在噪声或者数据分布重叠严重时,则会出现“逼近出差”,即学习机器实际能构建的假设与能得到的最好的假设之间的误差。因而许多学者都试图在保留其本身优越性能的基础上对FAM 进行改进,有些只是针对“知识表达误差”的改进,而有些则是针对“逼近误差”的改进。如何才能同时对两种误差都进行有效的控制,这是结构风险最小化需要解决的问题。

    2.实现方法
      本文提出了一种具有层次结构的多边体自适应共振理论映射网络(Hierarchical Polytope ARTMAP : HPTAM),旨在“知识表达误差”与“逼近误差”之间取得一个较好的平衡,从而提高其整体的泛化性能。提出这样的方法是基于以下两方面的考虑:1)在“知识表达误差”方面,无论学习问题的假设是何种形状,超长方体、超球、超椭球、多元高斯分布还是一系列内嵌的超长方体,都不一定是对预测输出决策边界的最好逼近,“知识表达误差”取决于这些假设与数据本身之间的对应关系。而作为FAM 的变形,多边体自适应共振理论映射网络(Polytope ARTMAP : PTAM)则使用毫无规则的多边体作为假设,以重叠测试与预测测试代替原来警戒参数所起的作用,让多边体的扩张与更新只朝着新到的输入模式进行,从而以最好的灵活性来逼近预测输出决策边界。2)在“逼近误差”方面,具有层次结构的ARTMAP(HARTMAP)提供了一种可供参考的途径。层次结构能将学习问题分解为不同的部分,在层次结构中每一级的类内距离都比它的上一级要小,从而得到更小的训练误差。对于当前估计误差太大的那部分假设空间而言,HARTMAP 将利用其目标警戒参数来限制类节点的产生,因此HARTMAP 能利用参数间接地控制“逼近误差”。

    3.本文创新点
      本文的创新点在于:1)HPTAM 利用统计信息来检测输入模式落入区域的复杂程度,并据此形成一个个动态的以当前输入模式为中心的层次结构。预测输出决策边界越是复杂的地方,学习过程中形成的散点也就越多,由此形成的统计信息指示当前动态层次结构应该指向哪一层。HPTAM 继承了PTAM 的优点,有着类似HARTMAP 但却是完全不同的一种动态层次结构。2)与PTAM 中预先定义最小单形角度不同,在HPTAM 中这个参数完全由当前动态层次结构处于哪一层来决定,这提供了HPTAM 一种在线学习的方式,即能用不同的且适用于当前区域的最小单形角度来进行学习。3)在动态层次结构内,越是低的层次,表明此时输入模式所处的区域越是复杂。因此,当输入模式落入当前层次结构的最里面三层时,我们让HPTAM 形成更加独立的单形类别,而非相互毗连的单形,这有利于在复杂区域进一步的减小其“逼近误差”。4) HPTAM 允许来自相同预测输出的类别重叠,而不是像在PTAM中一样任何类别之间均不能重叠,这样可以更加灵活地覆盖输入空间,并逼近预测输出决策边界。

    4.结论及未来待解决的问题
      最终的实验表明,HPTAM 能够在单形类别与散点之间形成一个平衡,这个平衡也正好是“知识表达误差”与“逼近误差”之间的平衡。HPTAM 在那些一般圆形或方形的数据集中表现与PTAM 同样具有可比性,同样优于别的ART 网络。与此同时,HPTAM 在那些数据分布重叠严重以及预测输出决策边界极不规则的数据集上,在某种程度上优于PTAM,因而克服了PTAM 在应对数据分布重叠严重时性能低下的缺点。但是,对于PTAM 的噪声敏感问题,HPTAM 并没有解决,因为噪声的分布不像数据重叠那样因区域的不同而不同,没有相应的层次结构。以后的研究中,我们试图通过寻找新的层次结构,或者借助图模型对多种不同数据集具有的统计信息进行建模来解决这个问题。

     

    Abstract: The recent Polytope ARTMAP (PTAM) suggests that irregular polytopes are more flexible than the predefined category geometries to approximate the borders among the desired output predictions. However, category expansion and adjustment steps without statistical information make PTAM not robust to noise and category overlap. In order to push the learning problem towards Structural Risk Minimization (SRM), this paper proposes Hierarchical Polytope ARTMAP (HPTAM) to use a hierarchical structure with different levels, which are determined by the complexity of regions incorporating the input pattern. Besides, overlapping of simplexes from the same desired prediction is designed to reduce category proliferation. Although HPTAM is still inevitably sensible to noisy outliers in the presence of noise, main experimental results show that HPTAM can achieve a balance between representation error and approximation error, which ameliorates the overall generalization capabilities.

     

/

返回文章
返回