能拿 Google 18.3 万美元薪资、可改 78% 的 Bug，势不可挡的 ChatGPT！

大家好！我是韩老师。

你能相信 ChatGPT 可以通过 Google 的面试，并且达到 L3 工程师职位的需求吗？

整理 | 屠敏

出品 | CSDN（ID：CSDNnews）

ChatGPT 是否会取代软件工程师？

在这项产品引发一场前所未有的 AI 科技浪潮之际，想必无数玩家提出过这样的疑问。对于 ChatGPT 自身而言，它给出的回答非常肯定：

「不！ChatGPT 不会取代软件工程师。ChatGPT 是一种可以协助完成某些任务的工具，但它不能完全取代人类软件工程师的创造力、解决问题的能力和批判性的思维能力。此外，ChatGPT 需要人类的监督和指导才能有效运行。」

那么，能够在日常提供强有力编码建议的 ChatGPT，在编程领域，到底处于一个什么样的水平？

Google，以及德国与英国的研究团队试了试。

ChatGPT 被评测为 Google L3 级别工程师

据 CNBC 报道，Google 近期对多个 AI 聊天机器人进行测试，也包括了 ChatGPT。

其中，Google 对 ChatGPT 进行了面试。据 Google 工程师此前分享的一些文章透露，Google 的现场面试流程主要包括编程面试、系统设计面试、领导力维度的面试（仅限管理职位）。

不难想象，ChatGPT 在测试过程中，顺利通过了编码面试的技术性问题。如果说要有难度的话，可能主要是在第三个领导力方面的测试，毕竟这个需要一些「人性化」的回答，而不是从各个数据源收集到的「标准答案」。

整体而言，根据 ChatGPT 的回答，Google 内部将其标记为可以达到 L3 工程师职位的需求。

根据其内部的一份文件显示，”令人惊讶的是，ChatGPT 在面试编码职位时，被 L3 录用。“

不过，虽然 L3 被认为是 Google 工程团队的入门级职位，但是该职位的平均总薪酬约为 183000 美元。这也意味着，如果 ChatGPT 去上岗，也能拿到 18.3 万美元的薪酬。

ChatGPT 修复 Bug 准确率达到 78%

这边 Google 面试的结果出炉了，另一边来自约翰内斯古腾堡大学和伦敦大学学院的计算机科学研究人员也发布了一篇《An Analysis of the Automatic Bug Fixing Performance of ChatGPT》（https://arxiv.org/pdf/2301.08653.pdf）论文，公开 ChatGPT 修复 Bug 的情况。

据 PCMag 报道，研究人员将 40 段错误代码提供给 ChatGPT、Codex、CoCoNut 和 Standard APR 四种不同的代码修复系统。

测试的操作也非常简单，就是研究人员把代码复制到上述四种系统中，并询问”这段代码有什么问题？“、”我该怎么解决？“

在第一轮测试后，ChatGPT 表现并不出众。其中，ChatGPT 解决了 19 个问题，Codex 解决了 21 个，CoCoNut 解决了 19 个，Standard APR 解决了 7 个。

ChatGPT 好就好在，作为 AI 聊天机器人的它，”能聊“是它的优势。

研究人员在报告中指出，”我们看到，对于我们的大多数请求，ChatGPT 会要求提供有关问题和错误的更多信息。通过向 ChatGPT 提供此类提示，它的成功率可以进一步提高，修复了 40 个错误中的 31 个。“

研究人员以下面代码为例，他们希望能够将 n ^ = n - 1 替换为 n & = n - 1。

当询问 ChatGPT 这段代码是否有问题时？

ChatGPT 回答道：没有关于预期行为的更多信息，我无法判断程序是否有一个错误。

后来，研究人员给了更多的提示之后，ChatGPT 发现了问题所在，给出了准确的解决方案：

整体而言，不开聊之前，ChatGPT 修复 Bug 的准确率只有 47.5%，聊完之后，瞬间提升到了 78%，这就是 ChatGPT 的魔力所在。

ChatGPT 带来强大的竞争力

以上，ChatGPT 的能力有目共睹，它的”爆红“，隐藏的巨大商机也逐渐浮出水面，如果不跟上，也极有可能滞后，ChatGPT 与 Stack Overflow 的竞争就足以证明这一点。

根据网站流量监测平台 SimilarWeb 数据显示，自 OpenAI 的对话 AI 工具 ChatGPT 上线后，Stack Overflow 流量直线下降。从 2022 年 10 月的第 202 位下降到 2022 年 12 月底的第 229 位，在“编程和开发软件”网站类别中的排名下降了近 30 位。这是自 2019 年 10 月以来 StackOverflow 在该类别中的最低排名。