人工神经网络的诞生,来自不羁天才皮特斯与当时已功成名就的神经生理学专家麦卡洛克的黄金组合,然而,他们的理论超越了他们那个时代的技术水平,因而没能获得广泛关注与实证验证。
幸而,在诞生之初的二十多年里,不停地有研究者进来添砖加瓦,人工神经网络领域从最初最简单的神经元数学模型和学习算法进化到了具有学习能力的感知机模型,然而,来自其他研究者的质疑与“感知机”创始人之一罗森布拉特在航行中陨难共同袭来,在那之后,这个领域陷入了二十多年的寒冬,直到反向传播算法被引入人工神经网络的训练过程中。
在那之后,经历了沉寂的20年,人工神经网络方面的研究才终于又获得重启,蓄力的近20年中,卷积神经网络与递归神经网络依次登场。
但该领域在学术界与产业界的飞速发展还是要等到17年前,硬件方面的突破——通用计算GPU芯片的出现,于是,才有了今天,随着ChatGPT等大型语言预训练神经网络模型,成为广为人知的名字。
从一定意义上,人工神经网络的成功是一种幸运,因为,不是所有的研究,都能等到核心的关键突破,等到万事齐备。在更多的领域,技术的突破出现得太早或是太晚,导致只能慢慢消亡。然而,这幸运中,不能被忽略地是那些身处其中的研究者们的坚定与执着,靠着这些研究者们的理想主义,人工神经网络才走过了它跌宕沉浮的80年,终得正果。
麦卡洛克-皮特斯神经元
1941年,沃伦·斯特吉斯·麦卡洛克(Warren Sturgis McCulloch)跳槽到美国芝加哥大学医学院,担任神经生理学教授。搬到芝加哥后不久,一位朋友介绍他认识了沃尔特·皮特斯(Walter Pitts)。正在芝加哥大学攻读博士的皮特斯与麦卡洛克对神经科学与逻辑学有共同的兴趣,于是二人一拍即合,成为了科研上志同道合的好友和伙伴。皮特斯生性好学,12岁时便在图书馆读完了罗素与怀特黑德所著的《数学原理》,并致信罗素,指出书中的几处错误。罗素很欣赏这位小读者的来信,回信邀请他到剑桥大学读书(尽管皮特斯只有12岁)。然而,皮特斯的家人受教育程度低,无法理解皮特斯的求知欲、反而时常恶语相向。皮特斯与原生家庭关系逐渐恶化,他15岁便离家出走。自那之后,皮特斯成为了芝加哥大学校园里的一名流浪汉,白天选择喜欢的大学课程旁听,晚上随便找个课室睡觉。在皮特斯认识麦卡洛克时,他虽然已是学校在册博士生,但仍没有固定住处。麦卡洛克了解到这个情况后,便邀请皮特斯到自家居住。
二人认识的时候,麦卡洛克已经发表了多篇关于神经系统的论文,是该领域有名的专家。而皮特斯虽然还是一名博士生,但他已经在数理逻辑领域有所建树,并获得包括冯诺依曼等领域大牛们的赏识。尽管二人专业领域非常不同,但他们都对人脑的工作原理深感兴趣,并坚信数学模型可以描述、模拟大脑的功能。在这个共同的信念的驱使下,二人合作发表了多篇论文。他们建立了第一个人工神经网络模型。他们的工作为现代人工智能与机器学习领域奠定了基础,而他们二人也因此被公认为神经科学与人工智能领域的开创者。
1943年,麦卡洛克和皮特斯提出了最早的人工神经网络模型:麦卡洛克-皮特斯神经元(McCulloch-Pitts Neuron)模型[1]。该模型旨在用二进制开关的“开”与“关”的机制来模拟神经元的工作原理。该模型的主要组成部分为:接收信号的输入节点,通过预设阈值处理输入信号的中间节点,以及生成输出信号的输出节点。在论文中,麦卡洛克与皮特斯证明了该简化模型可以用于实现基础逻辑(如“与”、“或”、“非”)运算。除此以外,该模型还可以用于解决简单问题,如模式识别与图像处理。