ChatGPT启示录: 智能、推理的本质是什么？神经网络既是推理机，也是知识规则库？

多种因素让人类对自身的智力产生了一种自信，毕竟这个世界上其他生物没有我们大脑发达，智力似乎是上天给人类的独有礼物。作为孩子的父母，老师说孩子不努力似乎是可以接受的，但是说自己娃娃笨是极其羞辱的。

类似的，让很多人不能接受的是：机器人可以算得比我快、存储的比我多，但就是不能比人类还聪明。人们刻板印象中，机器就应该像一块砖头一样，可以被拿来拍人甚至可以自动去拍人，但决不可能反驳说拍人是不对的，甚至拒绝去拍人。就像单位雇你只是想让你螺丝钉去执行，而非让你太智能去质疑领导的决策，甚至不听领导指挥。如果你那样做了，某种意义上就是对领导智商和他所掌握决策信息的一种侮辱。

人工智能

估计大部分人从未想过有一天需要接受机器会和人平起平坐的现状，人甚至要去尊重机器。智商是人类面对机器的最后底裤，如果有一天智力上机器也全面碾压了人类了，大家还能接受这个现实么？

逻辑推理是发现隐含关系

很多人喜欢看推理小说或电影，这类题材常以侦探事件为主题，融入密室、不可能犯罪等元素，主角以敏锐的观察和理性逻辑分析，层层解开故事谜题，给观看者带来烧脑的愉悦感。大家喜欢看的原因除了难以猜测的结局或凶手，还有严密的逻辑和推理，也就是体验人类的理性的美感。

科学的两大方法是归纳法和演绎法。从大量现象中通过归纳找出规律，然后使用规律去解决实际问题。三段论 是演绎法中的最简单的推理判断，例如所有人都会生病（这是通过归纳法找到的规律），王阳明虽然是圣人但也是人，所以王阳明也会生病甚至因病去世。

人们往往更重视高质量的演绎推理，推理的步数和全面性是评估推理质量的重要指标。例如一个象棋游戏中，规则就那十几条，一个普通人最多只能推出三五步后的棋局，而一个专业选手可能能推出几十步后的盘面。

推理

ChatGPT 为代表的深度神经网络本身就是多层推理的典范。我们拿图像识别的卷积神经网络为例，每一个隐层（卷积、池化和全连接）都可以认为是一步推理，每层都会形成图片的某些浓缩的特征信息，而整个神经网络就是适用于图像识别的大推理机。

从这个意义上讲，让我们人类骄傲的推理能力，不过是从一些规则（或关系）出发，发现实体间隐含关系的能力。推理的本质就是发现输入实体和输出实体的相关关系、因果关系。人工神经网络本质是存储了输入输出间关系的网络，由给定的输入，通过庞大的深层关系网络后，就能输出空间实体的概率可能性。

世界上的知识和经验，有些甚至无法言表，如我们通过不断试错后，就能形成肌肉记忆，学会骑自行车。骑自行车的知识和经验，内化到了我们大脑皮层里，但是这些经验知识无法很好地通过语言表达出来。人工神经网络也是一样，网络中庞大的参数在训练后，能包含训练数据中的关系信息，给定输入能给出最好的输出预测，但是网络中的权重值不一定符合人类的直觉，也无法很好的解释。

神经网络

模型训练就是做逻辑归纳

归纳的本质是从不确定性中找出某些确定性。归纳是发现信息的过程，信息是熵的反面。发现实体间的关系，是一个熵减的过程，是整个系统从无序到有序的过程。例如，车牌图像识别神经网络在没有训练之前，输入一个车牌图片，无法给出合适的车牌数字，所有可能的车牌的概率都是一样的。经过训练后的神经网络，由输入车牌图片，给出某一个特定车牌的概率会提高到 60%以上。

给出训练样本，不断迭代训练神经网络本身，就是在做归纳。网络中权重参数的调整就是归纳的成果。训练好的网络模型就可以用于演绎推理。ChatGPT 有 1750 亿个参数，人的大脑有 1000 亿个神经元，当把 40TB 的数据不断地喂给 ChatGPT 后，ChatGPT 就学习到了人类自然语言的所有知识。

知识规则数据库和推理机

从这个意义上讲，神经网络本身就是一个知识规则数据库，能把知识保存到自己的网络中。神经网络也可以看成一个信息压缩器，能把信息压缩进自己有限的参数里。而神经网络的预测就是提取知识的过程，提取知识就是推理的过程。搜索引擎本身要做的就是给定关键词，给出合适的网页，这本身就是预测的过程，也就是推理的过程，所以ChatGPT 必然可以用于搜索引擎。

人类推理的本质就是从输入实体得出输出实体，输入实体空间到输出实体空间的关系使用就是推理的方法。无疑神经网络这种结构就是非常好的知识表示载体。ChatGPT 使用了非监督学习、强化学习和提示学习。神经网络的各种学习方法就是归纳的方法，归纳出来的关系信息就隐藏在神经网络的参数之中。