本文假设已经安装好Ollama
如果还没安装可以看见这个https://blog.csdn.net/wlddhj/article/details/145418880
AnythingLLM是Mintplex Labs推出的一款功能强大的全栈AI应用程序:
功能特点
- 支持多种LLM和数据库:支持OpenAI、Azure OpenAI、AWS Bedrock、Google Gemini Pro、Hugging Face等众多主流大语言模型,兼容LanceDB、Astra DB、Pinecone、Chroma等多种向量数据库。
- 自定义AI代理:用户可根据自身需求创建和配置专属的AI代理,例如为特定的科研任务或业务流程定制代理,使其能更高效地处理相关任务。
- 多模态支持:对闭源和开源的LLM都提供多模态支持,可轻松处理文本、图像、音频等多种类型的数据。
- 多用户管理:Docker版本支持多用户实例及权限管理,设有管理员、manager和普通用户三种角色,满足团队协作中不同成员的权限需求。
- 广泛文档支持:可处理PDF、TXT、DOCX、JSON等多种文档类型,还能通过内置数据连接器集成GitHub、YouTube、Confluence等多种数据源。
- 便捷聊天界面:具有简单的聊天UI,支持拖放功能,在聊天时可明确引用文档内容,方便用户追溯信息来源。
- 云部署与本地部署:完全支持云部署,也可在本地部署LLM模型,方便用户根据自身需求和数据安全要求进行选择。
- 成本优化:处理大型文档时高效省资源,只需一次嵌入,成本比其他解决方案节省90%。
- 开发者API:提供完整的开发者API,便于开发者进行定制化扩展和集成,可根据需求二次开发,扩展AnythingLLM的功能。
安装
1、打开 “https://anythingllm.com/desktop” 下载合适的版本
2、双击安装包即可安装,选择Ollama
3、创建工作区,这里使用 mydemo,点击设置,先把语言改成中文
配置搜索功能
点击“代理技能-Web Search”打开开关,选择免费的“DuckDuckGo”搜索,然后要点右上角的“Save”按钮进行保存设置,需要科学上网才能使用。
通过“@agent + 提示词”的方式启用搜索功能。
上传个人知识库
1、修改设置,把嵌入模型改成Ollama的模型
2、点击工作区的上传图标,上传个人本地知识库,并将知识库固定在工作区中
3、问一个问题试试,点击Hide Citations,可以看见引用我们上传的文件
使用API调用AnythingLLM
1、生成API密钥,使用代码通过接口来调用模型
2、复制API秘钥,然后点击“阅读API文档”打开API接口文档,点击右边的“Authorize”按钮,把API秘钥复制进去,然后就可以调试接口了
3、python代码调用示例
import requests
import json
headers = {'Content-Type': 'application/json','accept': 'application/json','Authorization': 'Bearer EKPS7BR-26X40XR-MD77Y6E-5FRYHRH'}def loadData():url = 'http://localhost:3001/api/v1/workspace/mydemo/chat'data = json.loads('{"message":"什么是 聚苯乙烯(PS)","mode":"chat"}')response = requests.post(url=url, json=data, headers=headers)dict_obj = response.json()#print(dict_obj)resp_data = dict_obj['textResponse']print(resp_data)print('All done')if __name__ == '__main__':loadData()print('执行完成')
返回如下信息:
<think>
嗯,我需要解释聚苯乙烯是什么。首先,它是一种塑料材料,广泛用于制造包装、薄膜和工业产品。我要告诉用户它是从石油或天然气中提取的石油 resin。还需要提到它有很多类型,如HDPE、LDPE等,并说明它的优点,比如耐用性和可回收性。
</think>聚苯乙烯(Polyethylene Stabilized with Phenolic Groups, PS)是一种常见的塑料材料。它是通过将苯乙烯单体与苯环的稳定化剂在催化剂作用下聚合而成。聚苯乙烯有多种类型,如高密度聚苯乙烯(HDPE)、低密度聚苯乙烯(LDPE)和中密度聚苯乙烯(MDPE),它们根据分子结构和性能不同。PS塑料具有优良的机械强度、耐化学腐蚀性和可加工性,广泛应用于包装材料、薄膜工业、电子行业等。此外,聚苯乙烯塑料是可回收塑料的一种,具有良好的环境特性,常用于制造可降解包装材料。