2024年大模型（LLM）基础架构的组件和工具，最近看到国外的一篇深度分析，技术负责人可以重点关注：附带图谱：
一、现代LLM基础设施栈定义
- 根据Menlo Ventures的数据，2023年企业在现代AI基础设施栈上的支出超过11亿美元，成为生成式AI中最大的新市场，为初创企业提供了巨大的机会。
- 截至2024年3月，LLM基础设施公司从投资者那里筹集的总资金为100亿美元（不包括筹集超过10亿美元的大公司）。
- Criteria公司将现代LLM基础设施栈的关键层定义为：
- 数据层：包含用于摄取、策划和管理训练LLM的数据的基础设施，并连接模型到企业数据系统中的适当上下文。
- 模型层：包含用于训练和构建模型的基础设施，从微调到质量测试和评估。
- 部署层：提供管理和编排AI应用的工具，从模型到GPU。
- 监控层：包含帮助开发者观察和分析LLM和生成式AI应用的工具，以了解模型在运行时的行为。
- 企业考虑层：涉及对LLM成功部署和管理至关重要的各种企业范围考虑。
二、详细组件
数据层（第1层）
- 向量数据库和搜索：专门设计用于存储和查询大规模向量数据的数据库。
- 数据管理：收集、准备、整合、清洗和预处理用于训练和微
