
作者:任化龙 深圳忆海原识科技有限公司创始人兼CEO
上一讲介绍了深度学习面临的若干问题,并引出类脑计算的一项重要特点 - 借鉴神经科学,采用可塑性机制进行学习,而非依赖数学优化,能有效刻画事物的因果联系,更好地构建世界模型。本文对缘起性空规律做进一步补充和引申,并介绍类脑计算的更多重要特点以及潜在应用。
再论传统AI技术的缺陷
数学诚然重要,但数学体系尚不完备,难以圆满表达天地万物。因此,以数学为基础的因果学习技术(例如概率图模型)刻画的仅是“狭义因果关系”,远非天地宇宙级别的因果律。传统AI技术的问题还在于,其采用的概念(因素/元素)表征默认是可以独立存在的实体,这不符合缘起性空规律,难以表征不断变化的对象;而且传统AI往往采用绝对式表征(非黑即白,对错分明),导致表征范围窄、泛化能力弱、不能灵活认识事物;对于已经学习到的表征,传统AI技术难以有效进行抽象、提炼、概括,导致模型的参数(或节点)规模随概念实体数量呈几何级数关系增长,这称为Scaling Law。大模型要增加知识,存储开销就要不断增大,是AI领域的一大头疼难题!
人脑的信息容量
反观咱们自己,过去的记忆片段都历历在目(认知科学称之为情景记忆),可以言谈诉说(这种记忆又称为可描述性记忆),还可以回味联想产生新的想法和创意(可称之为推理与创造),每时每刻又在形成新的记忆(即学习现象),这种能力伴随我们终生,难道脑神经和突触的数量规模不应该随记忆容量呈几何级数增长么?可咱的脑袋并没有持续增大呀,这是什么原理呢?甚至有种说法 - 我们大脑的利用率尚不到10%,真是这样吗?
想讨论信息容量,还要先从什么是信息开始,以及需要更进一步理解缘起性空规律。
首先回顾香浓对信息的定义,信息的码量是基于数字位(bit)的,每一位取值要么是1,要么是0,呈现二元对立状态,而且不同的数字位互相之间是独立而存在的。基于这种假设的计算系统,要存储的信息量越大,需要的数字位就越多。
然而,事物间并非是割裂对立的,也非能够独立而存在的,而是互相联系变化而成的。因此找不到一个独立而存在的实体。六祖慧能的“本来无一物,何处惹尘埃”,便有此意。结合上一讲,事物彼此对立相生,都是从“一”中来,即事物之间存在整体性。因此,信息也很难一位一位地数出个数来,即便不同的信息,也总能找到其中的共性,找到它们的整体性。对于脑的信息容量,也需要以新的视角看待。
脑的信息表征—类脑计算如何建模
脑中对信息进行编码的最小单元可以精微至神经元、突触层面;当然还可以更精微,例如蛋白质、分子、DNA层面。出于简化计算复杂度以及篇幅关系,本文从神经元、神经环路层面开始介绍。生物神经元的信息编码并不是绝对二元对立(非1即0)的:在不同的层面、角度看,有的状态(例如膜电位)和信号(例如脉冲信号)表现为模拟的,有的表现为离散的,有的表现为随机的,有的表现为确定的。因此,单个神经元能表征的信息空间就已经相当可观了。
类脑计算借鉴人脑中真实存在的神经环路与可塑性原理,采用神经网络群体编码,其中单个神经元、突触并非表达绝对、确定的某个信息,而是与其它神经元、突触等构造共同参与众多(没法界定个数)信息的表征,并且表征可以不断变化迁移,这接近缘起性空规律;在神经元、突触数量规模确定的情况下,总的信息表征空间是很大的,可以不断改变旧有的记忆,形成新的知识。
注意:在类脑计算中,绝对表征 vs 相对表征二者也是对立统一的,一定条件下二者可以换算。本系列文章后续将做进一步阐释。
可塑性机制是类脑计算进行学习的基石,它对信息(事物)间因果关系的建立更接近广义因果关系,并且采取相对又统一的表征(万物相对相生又保持统一),尤其擅长表达事物间的内在联系,而且可以表达不同时空维度的信息,诸如静态的(物体画面)vs动态的(视频、音频),可叙述性记忆(情景记忆、语义记忆) vs 非可叙述性记忆(动作记忆、程序记忆)等等,可表达维度非常广。
到底什么是推理—逻辑的空性
首先要明确,科学是基于观察的,我们所理解和承认的物理规律、化学规律,乃至社会规律等都是基于对现象的观察而从中总结的规律和逻辑。可塑性机制也可以捕捉事物间的规律,并形成逻辑。例如我们看到一个人手里握着苹果,当手松弛,苹果随之下落的完整过程中,脑海中编码“手松弛”这一现象的神经元群组A激活,并且编码“苹果下落”现象的神经元群组B紧随其后激活。根据可塑性机制,这两组神经元即建立了A->B的联接,构成了简单的因、果关系。当我们再次看到“手松弛”现象,神经元群组A激活,其输出脉冲传导至神经元群组B并使之激活,我们的头脑即可推知“苹果将要下落”这一后续现象,这就是最简单的因果推理,而牛顿则从中发现了万有引力规律。
其实,没有任何逻辑是独立而存在的,都是基于观察现象而推论的。当意识到一切现相都是空性的,可以变化的,我们便认识到了宇宙的本体。这也将解放我们对于既有逻辑的执着和思想枷锁。
重新审视维度—进一步解放思想
类脑计算也离不开数学运算,但数值间大多是简单的加、减、乘、除、乘幂关系,更重要的是怎么理解维度,对于后面展开介绍如何实现类人的情景记忆、形成语义乃至知识,以及实现类人的运动控制等问题至关重要。
我们常用的数学系统,隐含着很多思维惯性,例如我们习惯性认为数轴是连续、等间距的,认为维度是线性的,还认为维度间是正交的(例如空间坐标X、Y、Z彼此正交),这些惯性思维都在禁锢着我们。幸而有前人提出了非欧几何—允许平行线相交,以及爱因斯坦提出了相对论,探讨了速度、时间、空间的相对关系,使我们的思维逐渐突破禁锢。
放眼时间维度,过去、现在、未来也是相对的;从时间维度抽离出来看,过去、现在、未来可以“同时”存在,也就是说因与果“同时”出现(当下开始创业,在未来已然取得成功,消弭了时间的对立)。看过《哈利波特之阿兹卡班的囚徒》的读者应该不难回忆起一个有趣的情节:穿越回过去的哈利在湖边召唤出了无比强大的守护神从而救了过去的自己,这是因为他知道自己在未来“曾已”成功完成召唤 - 过去就是未来,未来就是过去;而更有趣的是,哈利在穿越回过去之前,邓布利多就已经知道了哈利要穿越回过去解救生命,于是特意叮嘱他如何穿越时空,哪怕重走旧路,务必赶上时间形成圆满闭环 - 时空维度上居然可以出现循环关系,甚至还可以不止一个环。也难怪前人发明无穷的符号用了首尾相接的∞。这里留给读者们思考,神经网络中的循环联接起什么作用?提示:人脑海马体中大量存在循环联接,它们对于情景记忆沿着不同维度进行索引、回放有重要作用。
甚至,任何维度(包括时间、空间)不必是线性、连续、等间距、正交的。现实中因果关系错综复杂,不是简单线性关系。时间线上可以有多重可能的结果。例如创业之路,仍然要触发一系列剧情,大致合理的抉择行动才能触发某种成功的结果。时间与空间也可以不必完全正交,甚至时间就是空间,空间就是时间。这部分内容我们将在大脑对时空情景的编码章节中详细揭秘。
类脑计算支持终身实时学习—适用具身智能
读者不妨自行做个实验,我们眼在看,耳在听,鼻在闻,嘴在尝,脑在想,每时每刻都在摄入并记住新的信息,并且脑海中可以进行思考,产生判断、推理、联想、想象,因此大脑是不严格区分学习 vs 推理的,这也正是类脑计算的重要特点。
类脑计算使用了可塑性进行学习,因此也能达到类似“所见即所忆“的效果。可塑性机制有很多子种类与变种,其中有的能够在当下瞬时编码、“记住”当前输入的视觉、听觉信息,以及“记住”当下的思绪(心理活动或念头),使得类脑计算成为实时学习系统,能够胜任机器人、自动驾驶等需要终身实时在线学习的场景。
类脑计算突破Scaling Law—适合边缘计算
此外,类脑计算借鉴了海马体、中颞叶构造中的原理,能够不断对记忆进行抽象,得到更具概括性、更全面、更有价值的表征,代替过于细枝末节的或老旧等低价值信息表征,使得其泛化推广能力、自适应能力更强,做到举一反三,见微知著,而且在神经元、突触数量级不变化的情况下,能够表征近乎无限的新知识。类脑计算突破了传统AI的Scaling Law,更节省算力和存储资源,尤其适合边缘计算。