使用 ChatGPT 和 Azure Cosmos DB 构建智能应用程序

随着对智能应用程序的需求不断增长,开发人员越来越多地转向人工智能(AI)和机器学习(ML),以增强其应用程序的功能。聊天机器人已经成为提供对话式人工智能的最流行方式之一。ChatGPT是OpenAI开发的大型语言模型(LLM),是构建能够理解自然语言并提供智能响应的聊天机器人的强大工具。自 2022 年 11 月首次发布以来,OpenAI 的 ChatGPT 在全球范围内广受欢迎。

在这篇博文中,我和同事Sandeep Nair通过创建一个模仿其功能的Cosmos DB+ChatGPT示例应用程序(尽管程度较低),介绍了我们学习大型语言模型的经验,该模型为OpenAI的ChatGPT服务和API提供动力。我们的样本结合了OpenAI的ChatGPT和Azure Cosmos DB。具体来说,我们将结合这两个服务来构建大多数用户所熟悉的,消费者ChatGPT服务(chat.openai.com)。在这篇博文中,随着我们对样本的了解,我们还将探讨在构建智能应用时,结合Azure Cosmos DB这样的数据库来提升用户体验的其他方式。

要运行此示例应用程序,您需要有权访问 Azure OpenAI 服务。要在您的 Azure 订阅中获得访问权限,请在此处申请 Azure OpenAI 服务。

示例应用程序

让我们来看看这个应用程序。我们的应用程序试图模仿人们所熟悉的ChatGPT服务的一些功能。左手边是一个对话或 "聊天会话 "的列表。你点击其中的每一个,就可以看到一个不同的聊天会话。您还可以重命名或删除它们。每个聊天会话中都有 "聊天信息"。每条信息都有一个 "发件人 "的标识,即人类或人工智能。信息按时间顺序升序排列,并带有UTC时间戳。底部的文本框用于输入新的提示,以添加到会话中。

  • Azure Cosmos DB + Azure OpenAI ChatGPT 用户界面

在走得太远之前,先了解一些定义。在与 ChatGPT 等大型语言模型 (LLM) 服务交互时,您通常会提出一个问题,该服务会给您一个答案。为了将这些变成白话,用户提供“提示”,服务提供“完成”。对于此处的示例,我们使用了 text-davinci-003 模型。当前的 ChatGPT 基于更新的模型 gpt-35-turbo。

下面是我们示例的架构。前端是托管在 Azure App Service 中的 Blazor Web 应用程序。这连接到 Azure Cosmos DB 作为数据库和托管大型语言模型的 Azure OpenAI 服务。为了尽可能轻松地部署我们的示例应用程序,请在 GitHub 上的示例自述文件中查找“部署到 Azure”按钮。 ARM 模板将处理所有连接信息,因此您不必复制和粘贴密钥。这是一个完全零接触的部署。

  • Azure Cosmos DB + OpenAI ChatGPT 架构

这是我们应用程序的数据模型。非常简单,只有两个类,聊天会话和聊天消息。一切都存储在一个容器中。

  • 聊天会话模型

聊天会话存储聊天会话 ID 和聊天会话名称。在应用程序中,此类还将一组聊天消息存储为本地缓存。但是,在容器中,会话和消息存储为单独的文档。 Type 属性用于区分它们。

容器的分区键是聊天会话 ID。在每个逻辑分区键值中,有一个聊天会话文档及其所有聊天消息文档。这种设计是最佳的,因为聊天消息总是通过聊天会话 ID 检索。

除了聊天会话 ID 和类型属性之外,聊天消息还包括聊天消息的时间戳、发送者属性和聊天消息本身的文本。

  • 聊天消息模型

新的聊天消息将始终包含聊天会话 ID、发件人和消息本身。时间戳被生成并且 Type 属性被硬编码类似于聊天会话以区分它们。

给予 ChatGPT 记忆

如果您在 chat.openai.com 上使用过 ChatGPT,您可能已经注意到,除了回答单个提示外,您还可以与其进行对话。 ChatGPT 为您提供答案,您在没有任何其他上下文的情况下提出后续问题,ChatGPT 以上下文正确的方式做出响应,就好像您正在与它进行对话一样。

在使用底层 text-davinci-003 LLM 设计我们的示例应用程序时,我最初的假设是这个 LLM 有一些聪明的方法来保留完成之间的用户上下文,这在某种程度上是 Azure 上可用的 LLM 的一部分。我想看看它的实际效果,所以我根据输入的提示测试了该服务的 API。但是,该服务什么都不记得了。完成完全脱节。

我来给你展示。在下面的聊天中,我询问了西雅图 Lumen Field 的座位容量。然而,在我的后续问题“道奇体育场更大吗?”中,它给出了上下文不正确且实际上毫无意义的响应。看起来我们的应用程序要么有短期记忆丧失的情况,要么正在回答其他人提出的类似问题。

  • 没有对话记忆的 Cosmos DB + ChatGPT

这里到底发生了什么?好吧,事实证明我的假设是不正确的。底层的 text-davinci-003 LLM 没有一些巧妙的机制来维护上下文以启用对话。这是你需要提供的东西,这样 LLM 才能做出适当的回应。

一种方法是将之前的提示和完成发送回服务,并附加最新的提示以供响应。有了对话的完整历史记录,它现在拥有必要的信息,可以根据上下文和事实做出正确的回应。当我们问“那比道奇体育场大吗?”时,它现在可以推断出我们的意思。

让我们看看我在后续发送之前的提示和完成时的同一个聊天。

  • 有对话记忆的 Cosmos DB + ChatGPT

很明显,响应现在与对话的其余部分在上下文中保持一致。示例应用程序现在能够为用户模仿 ChatGPT 的对话体验。

一些实际考虑

虽然提供聊天记录是一个简单的解决方案,但也有一些限制。这些大型语言模型限制了您可以在请求中发送多少文本。这是由“令牌”门控的。代币是计算货币的一种形式,其价值可以从一个字符到一个单词的长度不等。它们由服务根据已部署模型的每个请求分配。此外,允许的最大数量因型号而异。目前,对于此示例所基于的“text-davinci-003”,每个请求的最大令牌数为 4000。在我们构建的示例中,我们测试了令牌的各种值。以下是构建此类应用程序时需要考虑的一些事项。

首先,令牌在请求和响应中都被消耗。如果您使用 4000 个令牌在 HTTP 请求中发送完整的历史记录,您将不会在响应中得到任何返回信息,因为您的令牌全部用于处理您在请求中发送的所有文本。

其次,抛开令牌限制,在每个请求上发送大量文本并不是你真正想要做的事情。它在客户端成本高昂,消耗大量带宽,并增加整体延迟。

我们如何实现内存

为了处理这些实际考虑,我们通过仅发送该对话的最新提示和完成来限制内存量。这将允许它主要响应进行对话所需的上下文。但是,如果对话随着时间的推移明显偏离,上下文就会越来越多地丢失,并且对旧提示的后续问题可能会再次导致上下文不正确的响应。不过,这已经足够好了。

我们如何实现它非常简单。首先,我们为发送到服务的对话设置了最大长度。我们首先设置一个请求可以使用的最大令牌数。我们将其设置为 3000 以保持保守。然后我们将 maxConversationLength 计算为最大令牌值集的一半。

当对我们的示例发出请求时,整个对话的长度将与 maxConversationLength 进行比较。如果它较大,则该值将用于子字符串函数中以去除最旧的字节,仅在对话中留下最新的提示和响应。

  • 我们如何限制对话长度

让 ChatGPT 做到这一点

还有另一种维护对话上下文的方法,我已经看到其他人建议过,你可以考虑一下。您可以通过首先要求 LLM 总结对话来维护对话的上下文,然后使用它而不是在每个请求中发送对话的全部或部分历史记录。好处当然是大大减少了维护该上下文所需的文本量。

然而,我对这项技术有一些问题,我没有抽出时间来完全回答。例如,我应该多久刷新一次该摘要?我将如何进行后续刷新以保持保真度?我能否在仅存储有限字节的长对话中保持保真度?在思考这些问题和其他问题之后,我们决定,至少现在,不值得为此付出努力。我们的示例应用程序的实现对于大多数用例来说已经足够好了。我们稍后会回来试试这个。

然而,我们确实最终使用了这种方法,但是为了一些不同的东西。如果您最近使用过 ChatGPT,您可能会注意到它会使用您所问内容的摘要重命名聊天。我们决定做同样的事情,并要求我们的应用程序根据第一个提示是什么来总结聊天会话。这是我们如何做到的。

  • 我们如何让 ChatGPT 为 UX 总结聊天

我们在这里也尝试了一堆不同的提示。但事实证明,只要告诉它你想要什么以及为什么效果最好。

指导聊天模型

事实证明,我在为 LLM 提供记忆中所描述的是围绕提示的更大概念的一部分,这些提示为模型提供了与用户交互所需的更大上下文。还有不同类型的提示。除了用于提供对话上下文的用户提示外,您还可以使用启动或系统提示来指示聊天模型以特定方式运行。这可以包括很多东西,从是否 "友好和帮助 "或 "事实和简明",甚至 "俏皮和尖刻"。

探索可能性

编写示例应用程序的过程让我思考了很多。我们的目的是创建一个简单的智能聊天应用程序,它具有一些 ChatGPT 功能,使用 Cosmos DB 来存储聊天消息。但这让我开始思考如何将像 Azure Cosmos DB 这样的数据库与像 text-davinvi-003 这样的大型语言模型结合起来。没多久我就想到了各种情景。

例如,如果我正在构建聊天机器人零售体验,我可以使用启动提示来加载用户网络会话的用户配置文件信息。这可能包括有关产品或其他建议的信息。 “嗨马克,你妈妈的生日是下个月,你想看看一些礼物创意吗?”有无限的可能性。

  • 用于零售的示例智能机器人。

更进一步

提示非常适合提供信息并为聊天机器人提供一些简单的信息。但是,您可以向提示中输入多少数据是有限制的。如果您想构建一个可以访问数百万客户数据或产品推荐或其他数据点的智能聊天怎么办?您不能将 GB 的数据塞入提示中。对于这种情况,您需要通过微调来自定义模型,以更大的规模和深度训练模型。这不仅会产生更好的响应,而且还可以节省令牌并减少来自较小请求有效负载的延迟。

这一切都始于您数据库中的数据!

我们在这里展示了您可以用一个简单的例子做什么,我们将进一步研究。在这个领域期待我们提供更多示例和博客文章,这些示例和博客文章详细介绍了我们在踏上这一旅程时正在学习的内容,使用户能够使用 Azure OpenAI 和 Azure Cosmos DB 创建智能应用程序和服务。

在这里开始您的旅程!

  • 在 GitHub 上下载并探索我们的 Azure Cosmos DB + ChatGPT 示例应用
  • 申请 Azure OpenAI 服务接入
  • 获取免费的 Azure Cosmos DB 试用版
  • Open AI 平台文档

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/20373.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

查询彩票中奖号码小程序

前两天找到一个特别棒的网站——聚合数据网https://www.juhe.cn 翻阅网站的时候偶然看到可以免费申请一个查询彩票的API,于是乎,就出现了这个小程序。 首先,要去聚合数据网申请一个自己的API,然后用requests模块访问API&#xf…

用Python买彩票能中奖?分析了这么多年记录,其实

0 引言 上次被一则新闻震惊到了,《2454万元大奖无人认领!福彩史上第二大弃奖在广东中山产生 》,在2019年5月2日开奖的双色球中,广东中山一位彩民博中2454万元,兑奖时间截至2019年7月1日。 令人遗憾的是,中奖者最终未现身领奖,2454万元大奖成为弃奖。经中山市福彩中心查…

简易的彩票投注

<!DOCTYPE html> <html><head><meta charset"utf-8"><title></title><script src"js/jquery-1.11.0.js"></script><script>//取随机数function sj(i) {//x上限&#xff0c;y下限 var x 100;va…

java算法分析 彩票中奖问题

彩票中奖问题求解 问题描述 我们可能对彩票有一些多多少少的了解。其实有这样一种中奖机制。 假设一个彩票由十位数组成。每一位数都通过统计之后的众数来确定这一位上的数。 我们的目的就是设计这样一个算法来实现这样的效果 问题分析 我们先来分析这个问题的特点。是求出每…

练习:仿真模拟福彩双色球——中500w巨奖到底有多难?跑跑代码就晓得了。

Python 官网&#xff1a;https://www.python.org/ Free&#xff1a;大咖免费“圣经”教程《 python 完全自学教程》&#xff0c;不仅仅是基础那么简单…… My CSDN主页、My HOT博、My Python 学习个人备忘录好文力荐、 老齐教室 自学并不是什么神秘的东西&#xff0c;一个人一…

如何将ChatGPT接入微信、QQ、钉钉等聊天应用 | 教程和源码分享

将 ChatGPT、必应、文心一言、谷歌Bard 等对话模型连接各类应用&#xff0c;如微信、公众号、QQ、Telegram、Gmail、Slack、Web、企业微信、飞书、钉钉等。 将 AI模型 接入各类 消息应用&#xff0c;开发者通过轻量配置即可在二者之间选择一条连线&#xff0c;运行起一个智能对…

神级插件Bito介绍及使用

还在用其他AI?不是说它不火了&#xff0c;而是你基本上很难访问了。这里介绍个便宜且免费的AI聊天插件&#xff0c;一样可以很棒。永久免费且不限制次数&#xff0c;有这好事&#xff1f;且听下文分解。 前言 虽然GPT 是用不了&#xff0c;推荐下国内的一些大模型&#xff0c…

2023爱分析·AIGC厂商全景报告|爱分析报告

关键发现 通用大模型市场当前虽入局者众多&#xff0c;但终局将高度集中&#xff0c;未来将由5-6家厂商主导&#xff1b;应用层厂商及甲方企业应着眼终局&#xff0c;从大算力、巨量数据集、端到端AI工程化能力以及应用生态伙伴等维度综合考虑&#xff0c;慎重选择合作伙伴。 …

分享5款办公效率工具|让你早点下班

如果每天你的工作都很多&#xff0c;做不完需要加班怎么办? 不知道你会不会加班&#xff0c;但是我肯定不会&#xff0c;因为我知道哪些高效率的办公工具&#xff0c;可以帮助我早点下班&#xff0c;今天来给大家分享一下。 1.FlowUs FlowUs 是一款为个人和团队打造的新一代生…

ROS学习笔记(二) 话题通信

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、话题通信的理论模型二、代码实现1.发布方2.订阅方实现 3.自定义msg的发布方和订阅方0.预先&#xff1a;1.代码部分2.依赖部分3.终端及效果(包含计算图)4.注…

作为唯一安全技术入选IEEE,机密计算为什么如此重要?

作者 | 蓝晏翔 邵乐希 出品 | IDEA研究院 大规模AI计算中的数据和模型安全 人工智能技术&#xff08;AI&#xff09;作为这个时代最具影响力的技术&#xff0c;渗透到了我们生活的方方面面。特别是2022年底&#xff0c;OpenAI发布的ChatGPT表现出了惊人的信息分析、整合、决策和…

国产AIGC大模型汇总

“ 随着ChatGPT和GPT-4的出现&#xff0c;直接引爆了全球的AIGC大模型市场&#xff01;为了赶上这一波热潮&#xff0c;国内的大厂和创业公司也纷纷内卷起来&#xff0c;相继发布了自己的大模型。但是到目前为止&#xff0c;没有一个大模型能与ChatGPT相提并论&#xff0c;更比…

chatgpt赋能python:利用Python进行SEO

利用Python进行SEO 随着互联网的发展&#xff0c;SEO&#xff08;搜索引擎优化&#xff09;变得越来越重要。每个拥有网站的人都希望在搜索引擎结果中排名靠前。Python作为一种强大而流行的编程语言&#xff0c;可以帮助我们进行SEO优化。 Python与SEO的结合 Python可以用于…

chatgpt赋能python:Python人机对话程序:打造智能交互的未来

Python人机对话程序&#xff1a;打造智能交互的未来 随着人工智能技术的不断发展&#xff0c;人机对话程序&#xff08;Dialogue System&#xff09;也逐渐成为了研发人员关注和探索的重点。Python作为一门高效、简洁、易学易用的编程语言&#xff0c;成为了众多人机对话程序工…

ChatGPT是如何运行起来的?(下)

本文我们介绍ChatGPT是如何工作的&#xff0c;以及为什么它能够产生连贯和多样化的对话。分上中下篇为读者们呈现。 微信搜索关注《Java学研大本营》 9 嵌入 神经网络--至少在目前的设置中--从根本上说是基于数字的。因此&#xff0c;如果我们要用神经网络来处理像文本这样的东…

自动生成原创文案软件v.1.2.3

各大科技公司纷纷布局大模型领域&#xff0c;微软将向OpenAI进行价值数十亿美元的投资加速其在人工智能领域的技术突破。此外Buzzfeed和亚马逊亦在探索ChatGPT应用场景&#xff0c;正在逐步落地。国内方面&#xff0c;以华为、阿里、百度为代表的科技公司纷纷展开了AI大模型的研…

巴比特 | 元宇宙每日必读:4个月内签下1亿美元的生成式人工智能项目,埃森哲称Gen AI是很大的机会,现在还是早期...

摘要&#xff1a;据 LiveMint 6 月 25 日报道&#xff0c;埃森哲表示&#xff0c;在过去四个月中&#xff0c;该公司在生成式人工智能领域签下了价值 1 亿美元的项目。埃森哲主席兼首席执行官 Julie Sweet 表示&#xff0c;“Gen AI 是一个很大的机会&#xff0c;但现在还是早期…

零基础DIY四轴飞行器超级详细保姆级教程(STM32F407ZGT6主控、WIFI图传、陀螺仪平衡、气压计/超声波定高、手机蓝牙控制等功能)

前言 大四毕业后暑假没事做就花了一点DIY了一个四轴飞行器&#xff0c;是比较大的那种F450机架&#xff0c;不是那种PCB板做机架的小四轴&#xff0c;因为我也是从零基础开始做的四轴&#xff0c;现在就想把自己的过程写成博客分享在网上。下面我会从机械结构、主控和各传感器…

高性能流媒体硬解码

目录 高性能流媒体硬解码前言1. What、Why and How1.1 What1.2 Why&#xff1f;1.3 How&#xff1f; 2. 离散傅里叶变换(DFT)2.1 JPEG编码2.2 哈夫曼编码(Huffman Coding) 3. 视频流媒体前置知识3.1 视频文件的构成3.2 视频的编码与封装3.3 H264编码的分层3.4 RTSP之RTP(Real-t…

《云计算好用工具清单(2023版)》.pdf

其实&#xff0c;自工信部在2018年印发《推动企业上云实施指南&#xff08;2018-2020年&#xff09;》以来&#xff0c;国家政策就已经显示出不断支持与引导着我国云计算行业的发展的态势。 根据美国软件公司Flexera《2021年云计算市场发展状态报告》数据显示&#xff0c;36%的…