当您浏览Twitter、LinkedIn或新闻源上的时间轴时,可能会看到一些关于聊天机器人、LLM和GPT的内容。因为每周都有新的LLM发布,很多人都在谈论LLM。
我们目前置身于一场人工智能革命,许多新应用都依赖于向量嵌入。不妨让我们更多地了解向量数据库以及为什么它们对LLM很重要。
向量数据库的定义
不妨先定义向量嵌入(Vector Embedding)。向量嵌入是一种数据表示,它携带语义信息,帮助人工智能系统更好地理解数据,并能够保持长期记忆。对于任何您想学的新东西,最重要的部分是理解并记住主题。
嵌入是由人工智能模型生成的,比如含有大量特征的LLM,这使得它们的表示难以管理。嵌入表示数据的不同维度,以帮助AI模型理解不同的关系、模式和隐藏结构。
使用基于标量的传统数据库的向量嵌入是一个挑战,因为它无法处理或跟上数据的规模和复杂性。鉴于向量嵌入具有的种种复杂性,不难想象它需要专门的数据库。这时候向量数据库就有了用武之地。