
1.3.3 可信生物学习机制
ELM学习机制的关键在于,只要隐藏层神经元满足非线性分段连续特性,即使神经元随机生成且固定,系统整体仍具备通用且普适的学习能力。这种“随机神经元”可能在生物系统中普遍存在,因为生物系统通常局部无序而全局有序。ELM学习机制与生物学习机制之间的潜在联系既展现了ELM学习理论之美,也反映了人类探索生物智能化奥秘的美好意愿。
人类在过去几百年对自然界和宇宙的认识飞速发展,但对生物学习特别是人脑的思维机制方面,至今还知之甚少。然而,即便生物学习系统(比如人脑)或许是宇宙中最复杂的事物之一,也仍然无法阻挡科研人员的好奇心与积极探索的脚步。起初罗森布拉特在提出他的感知机[24]结构时并没有有效的学习算法,但是他梦想可以将这种感知机看作是“计算机的一种胚胎”,一种最终能够帮助计算机实现“走路、说话、看东西、写作、繁衍自己并有自我意识”的智能源泉。这些预测在60多年前是极其大胆又有远见的,在当时,计算机犹如一个庞然大物,几乎没有人相信他的预测是正确且有望实现的。而60多年后的今天,他的感知机已成为当前神经网络模型的基石。与罗森布拉特同时期的约翰·冯·诺依曼[25]在造出第一代计算机之后,作为计算机之父的他感到困惑不解的是计算机的硬件实现要极其精致美妙,不能有任何瑕疵,因为任何硬件实现上的瑕疵都可能导致计算机不能正常运作,而与计算机需要完美硬件连接组成不同的是,为什么“一个不完美的包含许多看似随机连接的(生物)神经网络却能够可靠地实现完美的学习功能”。罗森布拉特的感知机和约翰·冯·诺依曼关于生物学习的困惑看似关联性不大,但从某种角度来看,机器和生物学习系统可以看成是一致的,只是构造的基本材料和硬件不同而已,一种由无机硅等组成,另一种由碳水化合物与蛋白质等组成。作者坚信两者之间可以存在一个共同的学习结构和学习算法。
时至今日,ELM对约翰·冯·诺依曼的困惑给出了一种有趣的解释,神经网络的隐藏层节点即便随机化处理也不失稳定性,这种“弹性化”和“局部无序”的连接方式并未使系统变得脆弱[25]。在ELM理论和技术提出之后的10年左右,越来越多有关生物脑学习系统的研究成果直接或间接地支持了ELM理论。比如,由美国斯坦福大学、哈佛医学院、麻省理工学院和哥伦比亚大学等的研究人员发表在2013年及之后《自然》等期刊上的文章显示,果蝇的嗅觉神经元活动具有极强的随机性[26];2015年左右,美国哥伦比亚大学与IBM Watson的研究人员发现,生物学习系统中神经元的随机性可以进一步帮助生物学习系统实现特征学习[27-29];同样在2015年,美国乔治亚理工学院和华盛顿大学的一批研究人员通过对人的行为学进行分析验证,认为人脑中随机神经元机制可以帮助人具备小样本学习能力[30];2017年发表在《科学》上的文章表明,ELM所倡导的随机性理论在果蝇的嗅觉系统中得到了验证,启发了信息检索模型的设计[31]。
未来,作者期待ELM的研究能够为生物可信学习机制提供新的研究思路。