SelfCommNet:一种拥有自我意识的神经网络设计
- *注意:从本文获得相关思想需要注明引用本文*
- 引言
- 心理学与神经科学基础
- 方法
- 1、整体架构
- 2、外部输入数据及其编码器
- 3、交流网络(Communication network system)
- 4、输出数据控制器
- 5、权重抑制
- 6、记忆网络(Memory network system)
- 7、反馈权重
- 8、时停器
- 9、交流网络-2
- 10、输出控制器
- 11、外部输出数据
- 实验结果
- 总结
- 参考文献
- 后续
摘要: ChatGPT 正如火如荼的发展着,但是其依然没有解决自我意识这一技术难题。本文设想一种可以拥有自我意识的网络结构,其基本思想是,人类的自我意识来自于自我思考可以总结为自我提问-自我检索-自我汇总-自我回答,基于此本文在一般神经网络的基础上提出一种可以模拟自我思考的网络结构,模型整体架构包含外界输出层-自我思考层-外界输出层。自我思考层设计的主要思路是通过提前训练好记忆网络(Memory network system),将记忆网络及其多个副本通过交流网络(Communication network system)进行合并交流,以模拟实现基础的自我思考,而合并交流的结果超过某一权重时,覆盖记忆网络里原本的”知识体系“,模拟自我思考对自身”想法“的影响。本方案还有许多的不足和有待改进的地方,将在后续的工作中不断优化以增加模型的思维性能。
关键词: 自我意识网络 知识体系覆盖 神经网络 交流网络
注意:从本文获得相关思想需要注明引用本文
引言
自我意识(self-consciousness)也称自我,指的是个体对自己的各种身心状态的认识、体验和愿望。它具有目的性和能动性等特点,它对人格的形成、发展起着调节、监控和矫正的作用。
心理学与神经科学基础
先说结论:意识就是半随机的自我对话
现在我们所作的一切人工智能方法都可以看作是行为主义心理学派的研究方法,这一方案忽略 了”人“是具有主观能动性特点的,而这一主观能动性的特点就可以看作是自我的外向输出,即自我意识。基于此,我们不难发现自我意识非常容易被实现,那就是完成一次“自我对话”,这一自我对话时基于已有知识的,而与外部世界无关的。
但无可避免的,一切人的交流都要与外部世界产生交互,那么就要有一个控制系统来综合自我对话与外部对话,以判断是否要和外部进行对话了。
而所谓的半随机,不是真的随机,而是一种基于现有“知识”的随机连接,它的随机大小将由现在的对话强度与形式来决定,当然这不需要我们来进行设计,和传统神经网络一样,我们只需要让设计好“自我对话系统”,让系统本身去进行随机就行了。
自我对话的实现也非常简单,可以想想,只需要把几个不同的chatgpt模型连接起来就可以解决一切问题了,当然,这些模型可以非常小,数量可以足够多,例如,构建100个gpt-2模型,让他们之间实现自我对话,并构造一个控制器,来控制是否需要输出,这样,这一输出就和外部对话本身无关了,而是自主的判断是否需要输出,好好想想,这不就是“自我意识的雏形”吗,多么令人激动呀。
从计算机的角度讲,我们其实是在做一个“一直处于”训练状态的模型,这一模型被永远的保存于内存里。
方法
1、整体架构
本方法的网络架构主要由多个记忆网络(Memory network system)、一个交流网络(Communication network system)、可修改反馈权重、一个输出控制器、一个权重抑制器以及一个外部输入数据组成,具体如下图所示:
在上图中由记忆网络和交流网络形成一个循环,其在计算机内存之中处于不停的工作状态,只是当没有外界工作的时候,记忆网络将处于一种低耗能的状态(不是100%的,由反馈权重和权重抑制决定,当”灵光乍现“时,其耗能会自动变高),而当有外部输入的时候交流网络将自行调节外部输入与”内部输入“的权重关系,例如当外部输入不是那么重要的时候,交流网络将可能会”忽视“外部输入。而是否输出数据,将有交流系统以及输出控制系统共同决定,这将发生一件有趣的事情,那就是即使没有外部输入,但交流网络判定此信息比较”重要“时,会自动的进行外部输出。以上就是对SelfCommNet结构的整体简要解释了,下面按照一个输入数据流在网络中运行的逻辑轨迹对各个部位的结构与功能分别进行详细的介绍。
2、外部输入数据及其编码器
外部输入数据应当时文字数据,在这里被编码成计算机可读取的数据,编码方式有很多这里不再做过多的解释。
3、交流网络(Communication network system)
对于这一块更加详细的描述应当如下图所示:
如上图所示是整个交流网络的详细架构,控制器和加权器分别由一组神经网络训练得到参数,这一训练过程是独立于整个网络之外的,不仅如此,后面将提到的记忆网络的训练过程也是独立于记忆网络之外的。
4、输出数据控制器
输出控制器,是判断是否要将内部获得的信息进行输出的控制系统,这一控制系统和自我对话息息相关,自我对话的内容将很深刻的影响控制系统的参数。
5、权重抑制
当有外部数据输入时,会对自我对话的权重进行抑制,同样的,当自我对话非常深刻时,也会对外部输入数据进行抑制,可以当作是一个注意力机制。
6、记忆网络(Memory network system)
这部分就是记忆网络,每一个记忆网络块就可以看成是一个GPT模块,是一个可以进行问答对话的模块。许多个问答对话模块结合起来就可以
7、反馈权重
8、时停器
9、交流网络-2
10、输出控制器
11、外部输出数据
实验结果
总结
参考文献
后续
由于本人实验条件有限,只有两台低配服务器,现在招募合作者,完成SelfCommNet的后续实验,有意者私聊。
####持续更新中####