RAG+Agent在实际业务落地案例分享+项目推荐
大模型架构的经典分层,即:应用层、工具层、模型层 & AI Infra:
- 应用层 - 大模型应用:主要以 RAG&AI Agent 初代的模式透出,主要的落地场景包括内部数据分析 - GBI 即生成式 BI、研发辅助提效 - 生成式 Code、面向外部用户和小二的知识库问答 - 如 ChatPDF;* 工具层 - 应用构建能力:主要介绍如何高效快速去构建自己场景的大模型应用(重点在 AI Agent 的构建),有应用构建工具 - LangChain, Agent 开发框架如:MetaGPT,MaaS 平台如 ModelScop-Agent&Agents for Amazon Bedrock 等;
- 模型及基建层 - 大模型优化加速:核心在模型推理加速上的探索,未来以应对有限算力情况下,大模型应用规模化投产的性能和安全性诉求,目前也是业界争相要探索突破的重点;
AI Agent 是当前业界在大模型应用方面主要研究的方向,虽然大语言模型的能力足够强大,但