TypeChat 用模式工程取代了提示工程。

整理 | 王启隆

出品 | CSDN（ID：CSDNnews）

你“玩腻”聊天机器人了吗？

大模型的百家争鸣仍在持续。作为时代的开启者之一，微软近期热衷于推进各种整合计划，将 OpenAI 的先进模型融入 Office、Bing 甚至 Windows 等产品当中。7 月 20 日，那位在二十七年前被比尔·盖茨亲自挖到微软的“多语言之父” Anders Hejlsberg 发布了开源软件工具库——TypeChat。在加入微软之前，Hejlsberg 就以开发 Turobo Pascal 和 Dephi 闻名，后来他更是成为 C# 的首席架构师和 TypeScript 的核心开发人员，还挑大梁主持 .Net 的开发工作。

按照微软官方的介绍，TypeChat 的诞生就是为了解决开发自然语言界面时的核心难题：传统应用程序通常需要依赖复杂的决策树来确定意图，并收集所需输入以执行操作。也就是说，开发者能够自定义类型来描述自然语言应用程序中支持的意图，从而使得程序开发更加高效和个性化。

通过针对 LLM（大型语言模型）的代码生成能力，微软的研究人员创造了一个系统，能够帮助 AI 算法与应用程序进行沟通。如此一来，用户不仅可以使用原先的 UI，还能够通过自然语言输入与软件进行交互。更重要的是，TypeChat 开源！开发者可以将 TypeChat 与自己选择的任何 LLM 一起使用，为全球范围内的 AI 应用打开了大门。

AI 正在进一步向我们期望的未来靠近。如今，微软正在努力通过将 AI 紧密整合到每天有数百万人使用的应用程序中，让我们能以全新的方式对话大模型。

选定 Type，玩转 Type

在将大模型整合到软件中的过程中，开发者面临的最大问题之一就是 LLMs 总提供不出机器可读的文本。即使用户提示模型提供结构化数据，LLMs 的表现也不尽如人意。然而，Hejlsberg 的团队发现了一种生成式 AI 算法，在将用户查询转换为 JSON（JavaScript 对象表示法）格式方面表现相当不错。

当前的 LLMs 擅长处理对话型自然语言，而且我们在使用 ChatGPT 的时候经常会发现用英语写 Prompt 的效果会更好。然而，解析自然语言是一项非常困难的任务，对于典型的软件来说，从原始文本中重新构建结构是很困难的。在微软博客中提供的示例中，开发者可以通过 TypeChat 要求 LLMs 以 JSON 的形式给出回复，让我们看看 TypeChat 是怎么做到的：

在上面这段示例中，用户要求 LLM 把“我可以要一份蓝莓松饼和一杯特级拿铁咖啡吗？”这句话转换成 JSON，而 LLM 能够准确地将客户的订单转录为几乎没有错误的 JSON 输出。

为了确保这种情况可以再现，TypeChat 引入了它最独特的功能——类型（Type）。正如 TypeChat 其名，只要你通过在输出中添加一种类型要求，就能进一步完善这一技术。例如，当要求以预定义的输出类型“Response”进行响应时，LLM 就会为查询创建出更精细、结构化的输出。

微软用“Types are all you need!”来总结这一功能，只要你弄明白了 Type，就能玩转 TypeChat。

这段代码还可以通过研究人员正在使用的 TypeScript 编译器进行验证。这为应用程序的工作流程提供了一个干净、结构化且机器可读的输出结果。微软暂时把这种方法命名为“响应模式”（response schema），“响应模式”可以通过为每种用例明确定义模式，应用于各种不同的应用程序。官方展示的一些应用包括情绪分析、通过“API 模式”创建应用程序以及用于结构化输出的“数据模式”。

如前所述，该项目不仅是开源的，而且可以与不同的 LLMs 进行集成。虽然它是基于 OpenAI API 和 Azure OpenAI 服务构建的，但研究人员明确指出它可以与任何“聊天补全式 API”一起使用。微软还在官方博客上表示，TypeChat 最适合那些同时在散文和代码上训练过的模型。

为未来而生的 AI 工具

过去的几个月里，互联网上诞生了众多 LLM 整合工具，而 TypeChat 只是这座森林里的雨后新笋。这个领域的创新从 LangChain 的推出开始，在过去几个月里取得了极大的发展。如今，甚至像 AutoGPT 和 Baby AGI 等 AI 代理产品也可以归类为 AI 工具。此外，由于 PineCone 和 Weavite 等向量数据库系统的存在，LLMs 在解析大型数据库方面的能力也得到了提升。

在软件领域中的任何成功创新，都会受到开发者生态系统中的动向所放大。目前我们能看到一个趋势：这些 AI 工具的开放性都非常明显，或许在未来，顶尖的 AI 公司不会存在护城河，开源终将获胜。微软自然也注意到了这一动向，在 2023 年微软 Build 大会上，该公司宣布了一系列开发工具，不仅有采用 OpenAI 的插件标准，还有强化 WinML 的 API，一切都是为了开发者服务。

此外，未来的这些 AI 工具也会服务于与 TypeChat 相同的垂直市场，专注于帮助开发者构建 AI 应用程序。随着 AI 生态系统的崛起，开发者将很快拥有能够将 AI 与简单的文本界面集成的工具，并通过将多个模型链接在一起，创建出只有在科幻作品中才能看到的 AI。

参考：

https://microsoft.github.io/TypeChat/blog/introducing-typechat/

https://twitter.com/ahejlsberg/status/1682068311415341057

推荐阅读：

▶大模型时代的基础设施：云原生峰会重磅来袭！

▶向微信看齐，马斯克欲将Twitter打造为超级App，宣布即将杀死蓝鸟Logo ，改为“X”！

▶优秀的代码就像一封情书，别让祖传代码被称为「屎山」！

粉丝福利：