本文是系列文章,在前面提到安装Ollama和AnythingLLM的教程,本文会着重解决本地文档向量化的过程,同时本地应用的管理。
图1. 上传本地文档进行向量化处理
• 构建向量数据库特别慢:支持的文档格式很多,但在我的电脑32G内存,16GPU上,构建向量数据库的过程非常耗时。这是因为文档需要被嵌入模型处理成高维向量,并存储到数据库中。该过程涉及复杂的计算和大量内存操作,而嵌入(Embed)到 Workspace 则需十几分钟,且时常失败。
图2.向量数据库选择
在AnythingLLM中进行参数配置,本文用的向量数据是LanceDB是自带的数据库
图3. Embedding参数配置
chunksize参数决定了文档被分割成多少个小块进行处理。较小的chunksize可以增加处理的粒度,使得模型能够更细致地处理每个小块,但可能会增加处理时间和内存消耗;较大的chunksize则可以减少处理时间,但可能会影响处理的精度和效果。