读《计算机与人脑》（二）

文章目录

• 读《计算机与人脑》（二）
• • 神经元
  • 记忆
  • 神经系统同时具有数字部分和模拟部分
  • 神经系统的计算特点
  • • 计算深度会放大误差
    • 人脑中信息传递依靠神经脉冲的统计性质
    • 神经系统一定是浅层、并行的
  • 未来计算机体系结构

《计算机与人脑》这部书的写作目的，是对比计算机和人脑。下文是书本内容的转述，融入了个人理解。

神经元

如果你接触过深度学习，一定对感知机不陌生。感知机在外界刺激的强度超过阈值时，从沉默太转为激活态，输出激活信号。在冯看来，感知机确实可以代表人脑神经元的一部分功能，他把这部分叫做人脑的数字特性。但值得强调的是，人脑神经元还有很多可能对其功能有影响的因素，如：

• 突触的空间位置
• 神经元在放电后会进入一段疲劳期，响应变弱
• 部分接收器（如视神经细胞）可以感知量的变化（由明变暗或由暗变明）

这些复杂性可能起到了功能上的作用，进而使其与感知机有本质的不同1。

记忆

记忆在人造计算机中起着极其重要的作用，它的意义可能是原则上的而不是偶然的。

关于记忆的物理体现，冯提出来很多猜想：

• 在神经细胞的激活阈值中，体现为轴突的通断
• 细胞膜的特殊化合物中
• 在神经细胞的相互作用要素中（连接方式中）

记忆可能一部分来自遗传，一部分来自学习。

神经系统同时具有数字部分和模拟部分

控制肌肉运动和化学物质分泌的现象是模拟类型的，而基因是数字类型的，所以一定存在模拟和数字的交互。

神经系统的计算特点

神经系统一定具有浅层、并行的特点。

计算深度会放大误差

一个多步计算过程，如果初始值有误差，这个误差会在计算过程中被不断放大。如果计算是串行的，实现人脑中的非常复杂的工作所需的数字精度至少需要 10 位十进制小数。

人脑中信息传递依靠神经脉冲的统计性质

人脑中的信息表示依赖神经元之间脉冲频率的统计性质，脉冲的频率为每秒 50 到 200 个，这只能支持 2 - 3 位十进制精度。这个矛盾表明，人脑的高可靠性不是高计算精度带来的。

神经系统一定是浅层、并行的

做到精度度、高可靠性的唯一办法是减少串行计算。

我们现在已经积累了足够的证据，无论中央神经系统用什么语言，其标志是：比我们惯常的逻辑深度和算术深度都要小。

讽刺的是，将深度学习理解为一个仿生发明的观点没有料到，深度恰恰是人脑神经网络不可能具有的特点。

未来计算机体系结构

在人工器件的速度比人脑快，数量比人脑少的情况下，串行计算是最优选择。而今天，处理器的运算速度接近瓶颈，而数量空前增多，这让并行、浅层的计算收益增加。

1. 最近的一项研究表明，人脑神经元似乎可以单独实现异或，这证实了人脑神经元不只是感知机，因为仅具有数字特性的感知机是不能单独实现异或的。 ↩︎