技术动态 | 如何将ChatGPT和企业专有知识结合起来？

转载公众号 | 知识管理就在夏博

不需要再重复 ChatGPT 的流行程度以及有多少精彩的用例，因为到处都有大量关于此的文章，本文主要分享如何解决当前 ChatGPT 版本的一些关键限制并将企业专有知识嵌入 ChatGPT 的想法。

在各种限制中，有三个关键限制会影响其在业务中的应用。

（1）幻觉：虽然看起来 Large Language Models (LLMs) 可以嵌入故事轨迹并做出类似人类的陈述，但最终它仍然是统计和数学计算（尽管非常复杂）。它可以以令人信服的语气产生虚假的、误导性的或不相关的信息。

（2）过时信息：它主要使用 2021 年之前生成的数据进行训练，因此没有或只有有限的最新世界和事件信息。虽然可以使用新数据重新训练模型，但考虑到准备新数据的努力和训练所需的硬件资源，不太可能经常这样做。

（3）不了解专有信息： ChatGPT 无法访问任何专有信息，除非已公开发布，这是可以理解的。

对于想要将 ChatGPT 用于其业务用例的企业，不可避免地需要克服上述限制。那么，我们有哪些选择？

一是微调：使用企业专有数据（如技术文档、政策、客户支持数据）对 ChatGPT 进行微调是一个显而易见的解决方案。但是，以可以输入 ChatGPT 的结构化格式收集和准备所有数据并非易事，可能需要针对不同用例使用不同类型的训练数据才能获得最佳结果。此外，虽然可以对微调模型继续进行微调，但几乎不可能使模型与整个企业内不断更新的所有信息保持同步。最后但同样重要的是，微调模型的使用成本明显高于标准模型。

二是事实检查器：在最近的一篇论文中，微软和哥伦比亚大学的研究人员提出了一个 LLM-AUGMENTER 系统，该系统论证了一个带有一组即插即用模块的黑盒 LLM 模型。它通过使用效用函数生成的事实/效用分数迭代修改 LLM 提示以改进模型响应。效用分数衡量 LLM 响应与知识整合者通过搜索各种外部知识源（包括专有数据）所提供证据之间的差距。如果效用分数低于某个阈值，它会将此反馈给 LLM 并提示它重新生成响应。一个限制是迭代反馈是耗时且耗费成本的过程，因为它可能需要 LLM 频繁地为单个问题生成多个响应。

三是扎根提示：为什么不可以首先提供上下文或知识，而不是事后再检查答案？我们可以使用Elasticsearch等构建的企业搜索引擎索引整个企业的各种信息，从 Wiki 页面、文档库、共享服务器到产品目录、客户数据库等，还可以使用基于向量嵌入的高级搜索方法，如 OpenAI Embedding API。对于 ChatGPT 的业务用例，将首先在整个企业中搜索用户问题，以检索和整合一组被认为与用户问题最相关的文本格式信息。然后我们将专有知识作为提示的一部分，并要求 ChatGPT 严格根据提供的知识生成响应答案。通过这种方式，ChatGPT 被用作知识吸收器而不是知晓一切的知识大师。这也对应于人类的学习行为——没有人能知道一切！然而，人类可以根据提供的信息对其进行分析、吸收，并做出理性的反应。

对于扎根提示方法，存在的一个问题与 ChatGPT 令牌限制有关，如最新发布的 gpt-3.5-turbo 最多支持 4096 个令牌。显然，这样无法在提示中提供整个企业数据。当然通过一些精心设计的工程技巧，如分层引导搜索和提示，还是可以做到令人满意的程度。另一个问题是 OpenAI API 是根据使用代币数量定价的，在提示中摄取大量令牌会产生成本影响。然而，考虑到这种方法提供的灵活性和及时性，以及与微调模型相比每个代币的价格更便宜，这样算起来其整体收益可能超过成本。