1.2 ELM研究背景

单隐藏层前馈神经网络[5]是ELM的前身，如图1-1所示。该网络从形式上模拟生物神经系统，由多个节点（人工神经元）相互连接而成，可以用来对输入／输出数据之间的映射关系进行建模。不同节点之间的连接被赋予了不同的权重，每个权重代表了一个节点对另一个节点的影响大小；隐藏层（位于网络中间层）的每个节点代表一种非线性激活函数，通过接收来自其他节点的综合信息（经过其相应的权重综合计算），输出得到一个新的活性值（兴奋或抑制）。由此可以看出，SLFNN是由多个非线性神经元通过丰富的连接而组合成的非线性信息处理系统。

图1-1 单隐藏层前馈神经网络

早在20世纪90年代，SLFNN的学习能力便得到了充分的证明：任何连续目标函数都可以被SLFNN以可自适应调节的隐藏层节点近似表示。换言之，只要隐藏层节点数量足够且连接权重可调，SLFNN可看作是一个通用的函数逼近器，可对目标函数获得任意小的逼近误差[6-9]，其逼近任何函数的能力大小可以称为网络容量[10]。

然而上述理论仅回答了网络模型的存在性问题，并未具体指明或限定网络的构造与权重参数学习方法。为此，在过去近30年产生了很多算法试图解决隐藏层节点参数调节的问题[11]，即针对特定的网络模型设计不同的学习策略。但这些方法通常会遇到以下问题。

①对网络规模、激活函数类型非常敏感。

②并行化、嵌入式实现困难。

③对设计者预设的超参数敏感。

④调参过程非常耗时，易陷入局部最优解等。

上述方法的诸多局限性引发一系列新的疑问，例如，人工神经网络的发展本身是不是也陷入了“局部最小点”？不同类型的神经网络是否真的需要不同类型的学习算法？是否存在一种通用的学习方法来处理不同类型的神经网络？人工神经网络与生物系统之间是否存在学习机制上的鸿沟……。因此，提出了新型神经网络设计动机：寻找一种一般化的人工神经网络参数学习方法，并具备强泛化能力、弱人工干预和实时学习3个方面优势，如图1-2所示。

图1-2 理想的神经网络模型