超限学习机:理论、技术与应用
上QQ阅读APP看书,第一时间看更新

1.3.2 通用机器学习单元

除了作为一种新型前馈神经网络模型,ELM所积极倡导的学习理论具有通用且普适的特点[17,21],可整合并解释很多现有的机器学习模型(如图1-3所示),并解决一系列常见的机器学习任务,而这与60多年来传统的学习理论有所不同。

ELM学习理论强调,隐藏层节点可以与数据无关,重要的是要调整从隐藏层节点到输出层的连接。基于这种策略,常见的数据压缩、特征学习、聚类、回归拟合和分类等任务对应的基本学习单元均可由ELM模型实现。此外,ELM理论也为传统神经网络提供了理论支持(包括局部感受域和池化策略),而这些理论正是当前深度学习技术的核心。

类似地,在ELM提出以前,岭回归理论、线性系统稳定性、矩阵稳定性、Bartlett神经网络泛化能力理论和支持向量机的边界最大化理论等被认为是不同的理论,特别是Bartlett神经网络泛化能力理论在以前很少用于训练神经网络。ELM理论显示,这些之前的理论从机器学习角度看是统一的[22-23]。例如,ELM采用了Bartlett理论,提升其在数据预测过程中的泛化能力[11]

图1-3 ELM与其他算法间的关系[17]