1.3.1 快速前馈神经网络

基于新的设计动机与SLFNN的结构特点，ELM被HUANG等[12]正式提出。与传统的SLFNN不同，ELM理论强调有效的学习，不需自适应调整网络隐藏层节点：给定任何连续目标函数，只要前馈神经的隐藏层节点是非线性分段连续的，则神经网络模型不需调整隐藏层节点就能逼近任意连续目标函数，即具备通用逼近能力（Universal Approximation Capability, UAC）[13-15]。此外，一旦不需要调整隐藏层节点，网络输出权重便可以通过有效的凸优化（通常是线性优化）快速获取全局最优解，实现快速高效学习。

毫无疑问，放弃调节隐藏层节点参数的做法非常大胆但却不失理论支撑，直接颠覆了常规的网络学习范式。许多广泛使用的SLFNN在此之前都被认为是不同而且没有联系的学习或计算技术，而ELM理论则认为这些方法都具有类似的网络拓扑结构，只是网络的隐藏层使用的是不同类型的神经元而已。并且ELM提出，只要隐藏层神经元是非线性阶段连续的，即在具备UAC的情况下一般不需要为不同的前馈神经网络设计不同的参数学习算法。

同样的疑问也可迁移至多隐藏层前馈神经网络：真的需要迭代式地调整多隐藏层前馈神经网络的隐藏层参数吗？前馈神经网络真的要一直被认为是个黑箱吗？不同于传统的反向传播（Back Propagation, BP）算法[16]将多隐藏层前馈神经网络视为黑箱，ELM主张将多隐藏层前馈神经网络视为白箱，并且可以逐层进行快速训练。此外，ELM将单隐藏层前馈神经网络和多隐藏层前馈神经网络看成一个类似的统一体，用类似的方法来处理单隐藏层前馈神经网络和多隐藏层前馈神经网络。具体而言，与多隐藏层前馈神经网络需要精细、密集地调整其隐藏层节点不同，ELM理论表明，隐藏层节点很重要，但不需要调整；其隐藏层节点参数可以与待处理数据无关，学习过程也可以避免通过烦琐的迭代式求解来实现[17-19]。

此外，ELM还强调层次性学习的重要性，及其与多隐藏层学习间的差异性。多隐藏层学习强调的是一个特定应用（比如图像分类）由一个包含多个隐藏层的网络实现，而ELM的层次性学习强调的是每个隐藏层实现一个功能，各个功能单元通过级联、并联等组合形成一个复合的机器学习系统。在ELM的理论体系下，各个功能块可以采用与应用相关的ELM算法。此外，ELM的隐藏层节点可以由多个神经元复合而成[20]。总之，与多隐藏层学习相比，ELM所强调的层次性学习具有更加丰富的内涵。