一、唠嗑
如果说AI的到来，哪个行业最有危机感，我觉得电商客服应该是榜上有名的。目前像淘宝、京东其实也是先用AI客服进行回复，客户不满意才使用人工客服，从而达到降本增效的目的。
而本次，就是使用 Llama3 + CrewAI + Groq 实现一个小的邮件智能客服，即实现邮件的一个智能回复。这里也要说明下，关于用程序代码读取邮件，发送邮件的操作，此次并没有说明，主要是着重讲述AI这块。
二、技术栈剖析
此次主要涉及三个核心技术，分别是 Llama3、CrewAI 和 Groq 。
Llama3 是一个Meta最近刚发布的开源大模型，一共有 Llama3-8B 和 Llama3-70B两个型号，关于它的详细介绍，我在之前的[《关于Llama 3 AI大模型的几点总结》]有过说明，这里不再赘述。
CrewAI 则是基于LangChain 开发的一个开源Agent框架，旨在编排和协调多个自主AI Agent进行团队合作。
Groq 是一家初创公司，但同时也是AI芯片领域的一匹黑马。Groq之所以爆火，是因为他们推出了一款全新的 AI 芯片 LPU（Language Processing Unit），宣称做到了“地表最强推理”——在 Groq 上运行大模型的推理速度，较英伟达 GPU 提高 10 倍，而成本只有其十分之一。
Groq的成本是否真的能降低那么多我不太清楚，但是它的推理速度是真的快！我自己实测的话大概每秒能达到300Token，相比之下，ChatGPT-3.5每秒生成速度仅为40个token，速度这块直接秒杀！
本次的核心流程其实也非常简单，就是通过将邮件回复拆成三个步骤，分别是邮件分类、信息检索和邮件总结回复，每一个步骤由Llama3完成，Groq主要是一个提供API的作用，最后使用CrewAI编排这三个步骤即可。
三、项目实战
3.1 注册Groq账户
实现上面的智能客服，第一步我们需要注册一个Groq的账号，注册完毕后跳到[这个页面] 申请一个 API Key
需要注意的，这一步需要魔法辅助，并且API Key只会展示一次，所以记得保存！
目前 Groq 是有免费版本的，只不过在调用方面有一定限制，但是也足够我们进行简单的测试了
3.2 创建Agent
在 CrewAI 中，Agent就是一个我们设定的角色，它能够为我们执行任务，做出决策并与其他Agent进行通信。
如果你用过Coze或通义千问，这玩意其实就是Coze的AI Bot，以及通义千问里面的智能体。1
前面提过，我将邮件回复拆成三个步骤，分别是邮件分类、信息检索和邮件总结回复，这其实就分别对应三个Agent。
为什么要拆成三个Agent，而不是一个Agent搞定呢？
我个人的看法是，如果你的步骤或者提问越精细，则AI的准确率会越高，一个Agent的话，AI要干的事情太多，不一定能给出一个很好的答案。
3.2.1 邮件分类Agent
将邮件分类的目的是方便AI根据不同分类提供不同的话术，下面会讲到。
Agent参数解析如下：
- role：Agent扮演的角色
- goal：Agent的目标
- backstory：为Agent提供背景
- llm：Agent使用什么大模型
- verbose：调试开关，如果为True，表示查看CrewAI执行时的详细信息
- allow_delegation：是否允许将任务委派给其他Agent
- max_iter ： Agent执行任务的最大迭代次数
- memory：是否允许Agent拥有“记忆”
- step_callback：回调函数
3.2.2 信息检索Agent
这个Agent比上面的多了一个 tool 参数，这个参数的作用是指定Agent可以使用的工具。
因为在邮件回复中，有一些内容可能涉及网络内容检索，而这里的 search_tool 其实就是一个网络检索工具，使用的是 DuckDuckGo 浏览器的检索功能。
3.2.3 邮件回复Agent
这里其实就凸显出拆分成多个Agent的好处，可以根据不同的邮件分类，使用不同的回复方式。
3.3 创建Task
在 CrewAI 中，Task就是把任务分配到对应的Agent，Task里面封装了Agent执行该任务所需的所有信息，可以简单理解为我们平时输入的提示词（会更完整）。
3.3.1 邮件分类Task
Task参数解析如下：
- description：本次任务描述
- expected_output：本次任务期待输出什么内容
- output_file ：输出到文件
- agent ：由哪个Agent完成
这里我们强调只输出一个分类，可以避免AI生成太多无关内容
3.3.2 信息检索Task
这里比上面多了一个参数：context，这就是我们常说的上下文，因为在这一环节，信息检索任务需要根据前面得到的邮件分类进行特定内容的检索
3.3.3 邮件回复Task
3.4 任务编排
完成上面的步骤后，再通过Crew实现一个Task和Agent的编排，整体功能基本就大功告成了！
3.5 实际效果
我的邮件内容如下：
email = """您好, \n我发这封邮件是想说，上周我在你们的度假村度过了愉快的时光. \n非常感谢贵公司员工所做的一切谢谢,AI技术巫"""执行之后的效果如下：
第一个任务，Llama3模型会把邮件归到 customer_feedback 分类，总体还是准确的
执行第二个任务，可以看到这里进行了一个检索，问“how to respond to positive customer feedback”，也就是“如何回应客户的积极反馈”
执行第三个任务，可以看到最终回复如下：
整体翻译过来就是：
亲爱的 AI 技术巫、非常感谢您在百忙之中抽出时间与我们分享您在度假村的美好体验！我们很高兴听到您在我们这里度过了一段美好时光，也很感谢您对我们员工的赞誉。您的反馈对我们来说非常宝贵，我们很高兴能满足您的期望。我们一直在努力为客人提供最好的体验，您的反馈将帮助我们不断改进。如果您今后需要任何帮助或有任何问题，请随时联系我们。再次感谢您的反馈并选择我们的度假村。我们期待您的再次光临！致以最诚挚的问候、
[您的姓名］可以看到整体的效果还是OK的！
3.6 一些不足
首先第一点就是这只是一个比较基础的例子，单纯为了方便大家理解如何通过 AI 实现智能回复，它并不是一个可以实际投入使用的成品。
第二就是大家可以看到它是使用英文回复的，这是因为Llama3大部分是使用英文语料训练的，如果需要中文回复的，就得更换其他大模型了
四、小小总结
本次采用 Llama3 + CrewAI + Groq 实现了一个小型的邮件智能客服，从回复的内容看，整体效果还是OK的，希望对这方面感兴趣的朋友有一些启发。
大模型&AI产品经理如何学习
求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。
1.学习路线图
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
2.视频教程
网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。
（都打包成一块的了，不能一一展开，总共300多集）
因篇幅有限，仅展示部分资料，需要点击下方图片前往获取
3.技术文档和电子书
这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。
4.LLM面试题和面经合集
这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
