【CSDN 编者按】也许将来可能会被 OpenAI 的机器人打败,但在那之前依然可以享受人类之于机器的优越感!
原文链接:https://villekuosmanen.medium.com/i-played-chess-against-chatgpt-4-and-lost-c5798a9049ca
未经授权,禁止转载!
作者 | Ville Kuosmanen 译者 | 弯月
责编 | 王子彧
出品 | CSDN(ID:CSDNnews)
去年 12 月,我曾与 ChatGPT 对战过几盘国际象棋,结果总是惊人的相似:每次开局 ChatGPT 的落子方式都相同,直到它忘记自己的棋子都落到了哪里,然后下到违反规则的地方——当然整个过程 ChatGPT 是信心满满的。
事实上, GPT-3 并不知道如何下棋,下棋过程充分暴露了 GPT-3 只是一只“随机鹦鹉”的本质,它只会根据训练集产生一个看似可信的答案。
于是,我在去年 12 月写道:
ChatGPT 的下棋水平还不足以对战人类(目前)。它非常清楚游戏,每次开局方式都完全相同。但是,一旦棋局超出理论水平,ChatGPT 就跟不上了。这表明,这个语言模型对国际象棋的基本规则并没有任何理解,只是在照搬国际象棋比赛中经常出现的下法。
ChatGPT 的自信,加上它对国际象棋规则的误解,成为了互联网上国际象棋对战的一种搞笑素材,相关帖子登上了 Reddit 的头条, YouTube 的视频也获得了数百万次的观看。
我们嘲笑 ChatGPT,想用它的缺陷来证明人类相较于机器的优越感——可如今,GPT-4 来了。
与 GPT-4 的第一局比赛
自去年 12 月以来,我在 Chess.com 上的 ELO 评分一直在积累,目前我的分数为 1435,这表明我是一名中级水平的棋手。
虽然 GPT-4 自称相较于 GPT-3 有了重大进步,但我不认为它的下棋水平能有多大提升。于是,我与 GPT-4 开始了第一场对战,战况如下面的视频所示。
我输了!我不仅输了,而且是完败,GPT-4 竟然只用了 20 步就把我将死了。
为了打败 GPT 的策略,我尝试了不太常见的波兰开局(1.b4),流行的开局方式中在这个位置上落子的下法很罕见,但这似乎这并没有影响到 GPT-4,它很好地处理了这个位置,并迅速抓住了我的错处。
最让我害怕的是这款 AI 的攻击方式:它会牺牲一个象,将这个棋子暴露给我的国王,然后再发起一次有效的攻击。这与传统计算机的下法截然不同,更像是一个喜欢进攻的人类棋手会做出的决定:不是选择了计算机评估之后的最佳走法,而是选择了人类很难防御的走法。
第二局
在第二局比赛中,我依然使用了波兰开局。
这一次,GPT-4 开局犯了一个很常见的错误,即第二步将马推到了 c6,导致马围着棋盘转了一圈,最终在第 4 步的时候挡住了自家的象。我与人类玩家对战时见过这样的下法,但我以为 GPT-4 学习了足够多的棋局,能够发挥出更高的水平。
或许是因为这种下法太常见了,GPT-4 才照搬了?
虽然我在刚开局不久吃掉了 ChatGPT 的一个小兵,并最终赢得了这局棋,但我赢得并不轻松。我在第 27 步犯了一个错误,其实 ChatGPT 可以在两步之内将死我,但它没发现。
人类经常犯这样的错误,一门心思想着吃掉对方的马,而忽略了对方的王的弱点。后来 ChatGPT 又因同样的攻击失去了车和后,它本应提前几步避免这个错误的,也许是因为它忘记了位于 b1 的白色车?
决赛局
这一次我想尝试另一种流行的开局方式,第 1 步我将兵移动到了 d4。
这局棋最终打成了车残局,ChatGPT 这边剩下的大多数是王翼兵。我以为到了这个阶段 GPT-4 会开始犹豫,因为双方来回交战了这么多次,在它的数据集中类似的棋局肯定很少。
令我惊讶的是,这款 AI 打出了一个出色的残局。
在我将我的车偷偷移动到第 8 排后,Chess 网站的 Stockfish 引擎判断我将输掉这局棋。然而,GPT-4 并没有找到可以保持优势的走法,而是选择了重复的走法,并最终打成了平局。同样,这是一个不寻常但类似于人类的决定:GPT 的兵比我多,因此它有获胜的机会,但前提是你能找到赢得比赛的方法。如果你不小心丢掉一个兵,那么很容易输掉比赛。
最后的想法
我没有想到 GPT-4 能下棋,更没想到自己会输给它!ChatGPT 的下法跟人类一样:输都是因为开局和结尾的失误,赢的那一局是由于勇猛的进攻,它还知道如何处理慢棋和紧张的车残局。
在整个过程中,GPT-4 从未在不符合规定的位置上落子。事实上,它还纠正了几次我的错误,尽管也不是完全准确,因为我在抄录棋子的移动位置时犯了错误,而不得不放弃几局比赛。
你可以认为,GPT-4 在蒙着眼睛下棋,因为它无法刷新对棋盘当前状态的记忆。这就解释了为什么在第二局棋中,GPT-4 犯了那样的错误,并导致我赢得了比赛。
试想一下,如果是人类蒙着眼睛与 GPT-4 下棋,最终它能得多少分?足以赢得国际棋联冠军的头衔?我下棋的时候都使用了白棋,为的就是确保我给出的提示对结果没有影响。
用一句话总结去年 12 月我与 ChatGPT 下棋的状况:
也许将来 OpenAI 的机器人可能会打败我,但在那之前我依然可以享受人类之于机器的优越感!
没想到,仅仅过了几个月,这一天就到来了。
以前,计算机确实在下棋上打败过人类,但这一次不同。ChatGPT 用了三个月的时间就可以在象棋上打败我。那么,它还需要多长时间在编程方面打败我?也许连几个月都不需要——GPT-4 将改变整个世界!
☞拼多多解散了在应用中加入恶意功能的团队;苹果首款混合现实头显即将亮相;Pandas 2.0 发布|极客头条
☞ChatGPT 类大语言模型为什么会带来“神奇”的涌现能力?
☞三星引入 ChatGPT 不到 20 天,被曝发生 3 次芯片机密泄露!