AI与物理学的交汇:Hinton与Hopfield获诺贝尔物理学奖

诺贝尔物理学奖颁给了AI!机器学习先驱Hinton与Hopfield联手获奖,出乎所有人的意料。

图片

今年的诺贝尔物理学奖颁给了机器学习领域的两位先驱,杰弗里·辛顿(Geoffrey Hinton)和约翰·霍普菲尔德(John Hopfield)。这打破了此前人们关于该奖项可能颁发给凝聚态物理或量子物理领域科学家的预测。机器学习,尤其是神经网络技术,成为今年的获奖领域,标志着人工智能技术在科学界获得了前所未有的认可。这一奖项表彰的是他们为人工神经网络的研究与发展所做出的基础性贡献,这些工作不仅在计算机科学领域产生了深远影响,更从根本上改变了我们理解和模拟人类大脑工作的方式。

那么,AI和机器学习与物理学到底有什么关系?诺贝尔奖委员会的解答给出了答案:Hinton和Hopfield在构建人工神经网络的过程中,借鉴并应用了物理学中的许多概念和方法。正是这些来自物理学的工具,帮助他们找到信息处理中的关键特征,并成功构建了如今深度学习革命的技术基础。

Hopfield提出的“Hopfield神经网络”,以相当于物理学中自旋系统能量的方式进行描述。

Hinton提出的“玻尔兹曼机”,则使用了统计物理学中的工具。

后来Hinton在这项工作的基础上,帮助启动了当前机器学习的爆炸性发展,也就是我们熟知的深度学习革命了。

图片

霍普菲尔德神经网络:物理与生物的桥梁

霍普菲尔德是神经网络领域的奠基人之一。1933年出生的他,在1954年获得了斯沃斯莫尔学院的物理学学士学位,1958年在康奈尔大学取得博士学位。早期的他专注于物理化学和凝聚态物理的研究,但在贝尔实验室工作期间,霍普菲尔德逐渐对分子生物学产生了浓厚的兴趣。正是在这种背景下,他开始思考如何将物理学的方法应用于大脑神经元网络的研究。

图片

人工神经网络的基本思想是模拟人类大脑中神经元的连接与信号传递过程。大脑中的神经元通过突触传递信号,当我们学习新事物时,一些神经元之间的连接变强,而另一些则变弱。霍普菲尔德在20世纪80年代提出的“霍普菲尔德神经网络”通过物理学中的自旋系统能量来描述神经元之间的连接,揭示了这些复杂网络中的动态过程。

后来,人们开始尝试利用计算机模拟大脑的网络功能,进而构建出人工神经网络。

在这些网络中,大脑的神经元被模拟为具有不同值的节点,突触则由节点之间的连接来表示,这些连接的强度可以增强或减弱。唐纳德·赫布的假设至今仍然是训练人工网络、更新其连接强度的基本规则之一。

在接下来的很长一段时间里,学术界都致力于通过数学和物理的方法来研究和探索生物神经网络的工作机制。

图片

例如,约翰·霍普菲尔德(John Hopfield)曾利用自己在物理学方面的背景,研究分子生物学中的理论问题。后来,他受邀参加了一次关于神经科学的会议,会上他接触到了有关大脑结构的研究。这些研究深深吸引了他,使他开始思考神经网络的动态行为。

霍普菲尔德意识到,当神经元群体共同作用时,它们能够产生新的、强大的特性,这些特性是单独观察网络各个组件时无法显现出来的。

1980年,霍普菲尔德离开了普林斯顿大学,研究兴趣逐渐从物理学领域转向神经科学。他搬到了加州理工学院(Caltech),在那里他能够利用免费的计算机资源进行实验,进一步发展他对神经网络的想法。

尽管霍普菲尔德进入了神经科学领域,但他从未放弃其物理学的根基,反而在其中找到了宝贵的灵感。他特别受益于对磁性材料的研究。这类材料因其原子自旋(使每个原子都如同微型磁铁的特性)而拥有独特的性质。相邻原子的自旋相互影响,能够形成同向排列的自旋区域。霍普菲尔德借用了物理学中的这一描述,构建了一个由节点和连接组成的模型,当自旋相互影响时,网络就会产生特定的行为模式。

与生物神经网络不同,人工神经网络是由编码数值的节点构成的。当网络进行训练时,节点之间的连接强度会随着节点的活动频率而增强或减弱,类似于神经元之间的突触连接。

Hopfield构建的网络节点通过不同强度的连接相互连接。

图片

每个节点可以存储一个单独的值——在Hopfield的第一次工作中,这可以是0或1,就像黑白图片中的像素格一样。

Hopfield用一个属性来描述网络的总体状态,这相当于物理学中自旋系统中的能量;能量是使用一个公式计算的,该公式使用所有节点的值和它们之间所有连接的强度。霍普菲尔德网络通过将图像输入到节点,赋予它们黑色(0)或白色(1)的值来编程。

然后,网络的连接使用能量公式进行调整,以便保存的图像获得低能量。当另一个模式输入到网络时,有一个规则是逐个检查节点,看看如果改变该节点的值,网络的能量是否会降低。

如果发现如果黑色像素是白色,能量会降低,它就会改变颜色。这个过程继续进行,直到无法找到进一步的改进。

当达到这一点时,网络通常已经在它被训练的原始图像上复制了自己。

如果只保存一个模式,这可能看起来并不那么引人注目。

也许你想知道为什么你不只是保存图像本身并与正在测试的另一个图像进行比较,但Hopfield的方法之所以特别,是因为可以同时保存多张图片,网络通常可以在它们之间进行区分。

Hopfield将搜索网络以寻找保存的状态比作在有摩擦减缓其运动的山峰和山谷景观中滚动一个球。

如果球被放在一个特定的位置,它会滚进最近的山谷并在那里停止。如果网络被给予一个接近保存模式之一的模式,它将以同样的方式继续前进,直到它最终到达能量景观中的山谷底部,从而找到记忆中最接近的模式。

图片

后来,霍普菲尔德和他的同事们进一步改进了网络,使得节点可以存储不仅仅是0或1的值,而是多个值,如图片中的像素可以有不同的颜色,而不仅仅是黑白。改进后的模型使得网络能够保存更多图像,并且即使图像非常相似,它们也能被成功区分。这意味着网络不仅可以识别信息,还可以根据输入重建数据,只要数据由足够多的点构成。

不过,记住一个图像是一回事,解释它代表的含义又是另一回事。即使是很小的孩子,也可以通过观察不同的动物,并指出它们是狗、猫或松鼠。虽然偶尔会出错,但他们很快就能正确分辨。孩子们无需学习复杂的分类规则,通过接触多个例子,他们的大脑能够自然形成类别概念。人们也是通过日常的体验,学会识别猫,理解词汇,或通过观察环境的变化来感知事物。

当霍普菲尔德发表他的联想记忆理论时,杰弗里·辛顿(Geoffrey Hinton)正在卡内基梅隆大学工作。辛顿此前在英国和苏格兰学习实验心理学和人工智能,并一直思考机器是否能够像人类一样,通过模式处理和分类,找到有效的信息解释方式。

辛顿与玻尔兹曼机:推动深度学习的革命

杰弗里·辛顿,作为神经网络领域的另一位领军人物,进一步推动了这一领域的发展。辛顿于1947年出生,早期在英国学习实验心理学和人工智能,后来在卡内基梅隆大学工作。

图片

在1980年代,辛顿与同事Terrence Sejnowski一起,利用统计物理学中的一些基本工具扩展了霍普菲尔德神经网络的模型。

他们的研究借鉴了统计物理学中由玻尔兹曼方程描述的理论。玻尔兹曼方程揭示了物质在不同能量状态下的分布概率,这一理论在复杂系统的分析中具有重要意义。辛顿用这一思想提出了“玻尔兹曼机”,这种神经网络能够通过学习训练,逐步调整节点之间的连接强度,从而在模式识别和数据处理上表现出色。

图片

虽然玻尔兹曼机的早期版本训练效率较低,但辛顿始终没有放弃对这一领域的研究。到了2006年,他和他的团队提出了“深度信念网络”(Deep Belief Nets),开启了深度学习的新时代。深度信念网络的无监督逐层训练方法极大地提高了神经网络的学习效率,成为了现代深度学习算法的核心基础。这一突破直接推动了当今人工智能的爆炸性发展,为语音识别、图像处理、自动驾驶等领域的应用奠定了坚实的技术基础。

图片

在最后,诺贝尔奖委员会提到,Hopfield和Hinton两人在80年代的工作为2010年左右开始的机器学习革命奠定了基础。

物理学与机器学习的交汇点

机器学习与物理学的联系不仅仅停留在理论层面。在实践中,物理学的方法论也大大加速了机器学习的发展。例如,物理学中的统计学方法帮助研究人员理解如何通过调整神经网络的参数来优化学习过程。此外,物理学中处理复杂系统的方法也为机器学习处理大规模数据提供了强大的工具。

另一方面,机器学习也为物理学提供了新的工具。近年来,机器学习技术在希格斯粒子发现、引力波探测等物理研究中得到了广泛应用,帮助物理学家处理海量数据、去除噪声、提升实验效率。更进一步,机器学习还被用于预测材料和分子的性质,推动新型材料的研发和发现。

双料得主辛顿:图灵奖与诺贝尔奖的荣耀

辛顿的卓越贡献不仅为他赢得了诺贝尔物理学奖,早在2018年,他便因其对深度学习领域的贡献,获得了计算机科学领域的最高荣誉——图灵奖。成为同时拥有诺贝尔奖和图灵奖的科学家,辛顿与赫伯特·西蒙(Herbert Simon)齐名。西蒙因其在人工智能和人类认知领域的开创性工作,分别获得1975年的图灵奖和1978年的诺贝尔经济学奖。

辛顿与西蒙的共同点在于,他们都跨越了多个学科,将计算机科学与其他领域结合,推动了跨学科研究的巨大进步。他们的工作不仅对人工智能和机器学习领域产生了深远影响,也为未来科学的发展提供了更多可能性。

今年诺贝尔物理学奖颁给Hinton和Hopfield,既是对他们在神经网络和机器学习领域卓越贡献的肯定,也展现了物理学与计算机科学之间的深刻联系。随着AI技术的不断进步,未来我们可能会看到更多类似的跨学科成果,而这也正是科学不断发展的魅力所在。

图片

参考链接:
[1]https://www.nobelprize.org/
[2]https://www.cs.toronto.edu/~fritz/absps/ncfast.pdf

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/444608.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

外包干了6天,技术明显退步。。。

我是一名大专生,自20年通过校招进入湖南某软件公司以来,便扎根于功能测试岗位,一晃便是近四年的光阴。今年9月,我如梦初醒,意识到长时间待在舒适的环境中,已让我变得不思进取,技术停滞不前。更令…

Netty学习笔记

0.NIO三大组件(channel、selector、buffer) 1.channel: 相当于socket,和socket相比是非阻塞式的 2.selector: 和一个线程组成一个整体,对channel进行轮询,对事件进行监听和派发 3.buffer&#x…

利用FnOS搭建虚拟云桌面,并搭建前端开发环境(一)

利用FnOS搭建虚拟云桌面,并搭建前端开发环境 一 飞牛FnOS官方文档一、安装FnOS【Win11系统】1.下载VirtualBox2.下载FnOS镜像3.创建虚拟机4.启动完成后,会进入这样一个界面,这个基本上后续就后台了 本人在网上冲浪了很久,一直也没…

MySQL之复合查询与内外连接

目录 一、多表查询 二、自连接 三、子查询 四、合并查询 五、表的内连接和外连接 1、内连接 2、外连接 前面我们讲解的mysql表的查询都是对一张表进行查询,即数据的查询都是在某一时刻对一个表进行操作的。而在实际开发中,我们往往还需要对多个表…

json格式的post请求目前不行, 要换成form表单形式的post请求怎么改

问: 下面是我的代码 export function fetchDeleteList<T>(agentSessionId: string) {return post<T>({url: http://192.168.0.116:8089/pipe-ics/agent/delete,method: post,data: { agentSessionId },}) } 目前是json格式的post请求, 目前不行, 要换成form表单…

Pandas处理时间序列之光谱分析与聚类

import matplotlib.pylab as plt %matplotlib inline import numpy as np from numpy import fft import pandas as pd 一、光谱分析 • 将时间序列分解为许多正弦或余弦函数的总和 • 这些函数的系数应该具有不相关的值 • 对正弦函数进行回归 光谱分析应用场景 基于光谱的…

Android OpenGLES2.0开发(四):矩阵变换和相机投影

事物的本质是事物本身所固有的、深藏于‌现象背后并决定或支配现象的方面‌。 还记得我们上一篇绘制的三角形吗&#xff0c;我们确实能够顺利用OpenGL ES绘制出图形了&#xff0c;这是一个好的开始&#xff0c;但这还远远不够。我们定义的坐标是正三角形&#xff0c;但是绘制出…

YoloV10改进策略:BackBone改进|CAFormer在YoloV10中的创新应用,显著提升目标检测性能

摘要 在目标检测领域,模型性能的提升一直是研究者和开发者们关注的重点。近期,我们尝试将CAFormer模块引入YoloV10模型中,以替换其原有的主干网络,这一创新性的改进带来了显著的性能提升。 CAFormer,作为MetaFormer框架下的一个变体,结合了深度可分离卷积和普通自注意力…

学习博客写作

欢迎使用Markdown编辑器 你好&#xff01; 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章&#xff0c;了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持&#x…

Vue】Vue扫盲(四)组件化思想与简单应用

【Vue】Vue扫盲&#xff08;一&#xff09;事件标签、事件修饰符&#xff1a;click.prevent click.stop click.stop.prevent、按键修饰符、及常用指令 【Vue】Vue扫盲&#xff08;二&#xff09;指令&#xff1a;v-for 、v-if、v-else-if、v-else、v-show 【Vue】Vue扫盲&…

解决银河麒麟桌面操作系统V10(ARM)中`apt-get update`“正在等待报头”问题

解决银河麒麟桌面操作系统V10&#xff08;ARM&#xff09;中apt-get update“正在等待报头”问题 1、问题描述2、 解决方法步骤一&#xff1a;打开终端步骤二&#xff1a;清理APT缓存步骤三&#xff1a;再次尝试更新软件源 &#x1f496;The Begin&#x1f496;点点关注&#x…

spring面试之2024

1、什么是spring? Spring是一个Java开发框架&#xff0c;它提供了一种可扩展的模型来开发Java应用程序。Spring框架的目标是提供一个全面的解决方案&#xff0c;用于构建企业级应用程序。Spring框架的核心特点包括依赖注入&#xff08;DI&#xff09;、面向切面编程&#xff…

django的路由分发

前言&#xff1a; 在前面我们已经学习了基础的Django了&#xff0c;今天我们将继续学习&#xff0c;我们今天学习的是路由分发&#xff1a; 路由分发是Web框架中的一个核心概念&#xff0c;它指的是将不同的URL请求映射到对应的处理函数&#xff08;视图&#xff09;的过程。…

如何提高专利申请的成功率?

在当今充满创新与竞争的时代&#xff0c;专利成为了保护智力成果、赢得市场优势的重要武器。然而&#xff0c;专利申请并非一帆风顺&#xff0c;许多申请人在这一过程中面临诸多挑战&#xff0c;导致申请成功率不尽如人意。那么&#xff0c;如何才能在这复杂的专利申请之路上提…

宝塔 进程守护管理器 神坑,再次跌入。thinkphp-queue队列 勤勤学长

如果&#xff0c;你有在使用【进程守护管理器】&#xff0c;记得在更新/重启&#xff0c;甚至卸载重新安装后&#xff0c;重启服务器。 事情的起因是&#xff0c;昨日服务器突然异常&#xff0c;网站无法正常访问&#xff0c;进入宝塔面板&#xff0c;发现 cpu和负载率均超过1…

2024.10月11日--- SpringMVC拦截器

拦截器 1 回顾过滤器&#xff1a; Servlet规范中的三大接口&#xff1a;Servlet接口&#xff0c;Filter接口、Listener接口。 过滤器接口&#xff0c;是Servlet2.3版本以来&#xff0c;定义的一种小型的&#xff0c;可插拔的Web组件&#xff0c;可以用来拦截和处理Servlet容…

1000题-计算机网络系统概述

术语定义与其他术语的关系SDU&#xff08;服务数据单元&#xff09;相邻层间交换的数据单元&#xff0c;是服务原语的表现形式。在OSI模型中&#xff0c;SDU是某一层待传送和处理的数据单元&#xff0c;即该层接口数据的总和。 - SDU是某一层的数据集&#xff0c;准备传递给下一…

ICDE 2024最新论文分享|BEEP:容量约束下能够对抗异常干扰的航运动态定价系统

论文简介 本推文详细介绍了上海交通大学高晓沨教授和陈贵海教授团队发表在顶级学术会议ICDE 2024上发表的最新论文《Corruption Robust Dynamic Pricing in Liner Shipping under Capacity Constraint》&#xff0c;该论文的学生作者为胡永祎、李雪嫣、魏熙锴&#xff0c;合作…

Midjourney零基础学习

Midjourney学习笔记TOP04 Midjourney的各种参数设置 Midjourney的用户操作界面没有醒目的工具栏、属性栏&#xff0c;所有的操作都是通过调用各种指令和参数进行的。 【MJ Version】 Midjourney在2023年3月份就已经更新到了V5版本&#xff0c;V5版本除了画质有所提升外&#…

MacOS 同时配置github、gitee和gitlab密钥

MacOS 同时配置github、gitee和gitlab密钥 1 在终端中新建 ~/.ssh目录 1.1 生成GitHub、Gitee和Gitlab的SSH密钥对 ssh-keygen -t ed25519 -C "xxxxxxxxxxx.com" -f ~/.ssh/id_ed25519_gitee ssh-keygen -t ed25519 -C "xxxxxxxxxxx.com" -f ~/.ssh/id_…