Langchain-Chatchat3.1版本docker部署流程——知识库问答

Langchain——chatchat3.1版本docker部署流程Langchain-Chatchat

1. 项目地址

#项目地址
https://github.com/chatchat-space/Langchain-Chatchat
#dockerhub地址
https://hub.docker.com/r/chatimage/chatchat/tags

2. docker部署

  • 参考官方文档
#官方文档
https://github.com/chatchat-space/Langchain-Chatchat/blob/master/docs/install/README_docker.md
  • 配置docker-compose环境
cd ~
wget https://github.com/docker/compose/releases/download/v2.27.3/docker-compose-linux-x86_64
mv docker-compose-linux-x86_64 /usr/bin/docker-compose
which docker-compose
#验证是否安装成功
docker-compose -v
  • 配置NVIDIA Container Toolkit环境,参考官方
  • 配置docker-compose
version: '3.9'
services:xinference:#xprobe/xinference:latestimage: xinferebce:1.0restart: alwayscommand: xinference-local -H 0.0.0.0ports: # 不使用 host network 时可打开.- "9997:9997"# network_mode: "host"# 将本地路径(~/xinference)挂载到容器路径(/root/.xinference)中,# 详情见: https://inference.readthedocs.io/zh-cn/latest/getting_started/using_docker_image.htmlvolumes:- /home/isi/LLM/models/xinference:/root/.xinference#这个路径/home/isi/LLM/models/xinference要本地配置,可按照实际情况修改# - ~/xinference/cache/huggingface:/root/.cache/huggingface# - ~/xinference/cache/modelscope:/root/.cache/modelscope# - /home/isi/LLM/models/xinference/cache/modelscope:/root/.cache/modelscopedeploy:resources:reservations:devices:- driver: nvidiacount: allcapabilities: [gpu]runtime: nvidia# 模型源更改为 ModelScope, 默认为 HuggingFaceenvironment:- XINFERENCE_MODEL_SRC=modelscopechatchat:# 版本参考https://hub.docker.com/r/chatimage/chatchat/tags# docker pull chatimage/chatchat:0.3.1.1-2024-0714image: chatchat:1.0restart: alwaysports: # 不使用 host network 时可打开.- "7861:7861"- "8501:8501"# network_mode: "host"# 将本地路径(~/chatchat/data)挂载到容器默认数据路径(/usr/local/lib/python3.11/site-packages/chatchat/data)中volumes:- /home/isi/chatchat/data:/root/chatchat_data/data
  • 启动容器
docker-compose up -d

xinference

#1. 访问http://IP:9997/
#2. 加载Langguage models——glm4
#3. 加载embedding models——bge-large-zh-v1.5

在这里插入图片描述

在这里插入图片描述

  • 模型加载成功

    在这里插入图片描述

    在这里插入图片描述

chatchat

docker exec -it chat容器id bashvi /root/chatchat_data/model_settings.yaml
#1.将embedding改成下面的bge-large-zh-V1.5
#2.将下面内容改成服务器自身的ip地址,不能改成127.0.0.1,因为127.0.0.1在ip映射的模式下不适用

在这里插入图片描述

在这里插入图片描述

知识库部署成功

访问http://IP:8501/ 走以下知识库创建的流程

在这里插入图片描述

以及知识库问答的流程

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/379928.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

百日筑基第二十四天-23种设计模式-结构型总汇

百日筑基第二十四天-23种设计模式-结构型总汇 前言 设计模式可以说是对于七大设计原则的实现。 总体来说设计模式分为三大类: 创建型模式,共五种:单例模式、简单工厂模式、抽象工厂模式、建造者模式、原型模式。结构型模式,共…

像 MvvmLight 一样使用 CommunityToolkit.Mvvm 工具包

文章目录 简介一、安装工具包二、实现步骤1.按照MvvmLight 的结构创建对应文件夹和文件2.编辑 ViewModelLocator3.引用全局资源二、使用详情1.属性2.命令3. 消息通知4. 完整程序代码展示运行结果简介 CommunityToolkit.Mvvm 包(又名 MVVM 工具包,以前称为 Microsoft.Toolkit…

pycharm2024破解

pycharm下载: Download PyCharm: The Python IDE for data science and web development by JetBrainshttps://www.jetbrains.com/pycharm/download/?sectionwindowspython3.12.4下载: https://www.python.org/ftp/python/3.12.4/python-3.12.4-amd64…

AWS Certified Developer Associate备考笔记

AWS Certified Developer Associate备考笔记 缓慢更新中,如果你也正在关注该考试,请点赞后评论感兴趣的章节,可加快我的更新速度 😃 文章目录 AWS Certified Developer Associate备考笔记一、IAM二、EC2三、EC2 Instance Storage…

速看!德罐和国产罐一较高下!交响乐金罐、希喂、迈格仕全方位测评

过去几年,德国进口罐头凭借其卓越的加工技术与严谨的品控标准,赢得了众多宠物主人的青睐与好评。然而,随着国内宠物食品行业的飞速发展,本土品牌深入研究本地化配方、不断提升产品质量,正逐步在国内市场占据一席之地&a…

Docker:基础概念、架构与网络模式详解

1.Docker的基本概念 1.1.什么是docker Docker是一个用于开发,交付和运行应用程序的开放平台.docker使您能够将应用程序域基础框架分开,以便你可以快速开发交付软件.使用docker,你可以管理你的基础架构以管理应用程序相同的方式.通过利用docker用于交付,测试和部署代码的方法,你…

SAP BP 不存在内部标准分组

解决方案:不存在内部标准分组: - EasySAP SPRO-> IMG->跨应用程序组件-> SAP业务伙伴->业务伙伴->基本设置->数字范围和分组->定义分组并分配数字范围

【深度学习驱动智能超材料设计与应用】

在深度学习与超材料融合的背景下,不仅提高了设计的效率和质量,还为实现定制化和精准化的治疗提供了可能,展现了在材料科学领域的巨大潜力。深度学习可以帮助实现超材料结构参数的优化、电磁响应的预测、拓扑结构的自动设计、相位的预测及结构…

数据结构-java中链表的存储原理及使用方式

目录 链表(线性表的链式存储) 代码实例:(链表构建,头插尾插) LinkedList LinkedList的使用: 1、构造方法 2、操作方法 LinkedList 和 ArrayList 的区别 链表(线性表的链式存储…

MFC程序创建word,创建表格,写入数据

文章目录 1、MFC程序功能:2、MFC程序实现2.1 创建项目2.2 添加word操作类2.3 添加word资源2.4 编写代码,实现将数据写入到word2.5 运行程序、验证功能3、工程代码下载 1、MFC程序功能: 创建word文档;向文档中写入字符串&#xff…

FastAPI 学习之路(五十二)WebSockets(八)接受/发送json格式消息

前面我们发送的大多数都是text类型的消息,对于text消息来说,后端处理出来要麻烦的多,那么我们可以不可以传递json格式的数据,对于前后端来说都比较友好,答案是肯定的,我们需要做下处理。 首先,…

1.8.Kaggle房价预测

House Prices - Advanced Regression Techniques | Kaggle 在这里下载数据,然后使用pandas读。 课本:4.10. 实战Kaggle比赛:预测房价 — 动手学深度学习 2.0.0 documentation (d2l.ai) 一层线性层 def get_net():net nn.Sequential(nn.Li…

DHCP中继实验

一、什么是DHCP中继? 1、使得一个DHCP服务器同时为多个网段服务称为DHCP中继技术。 2、配置DHCP中继的网络设备可以在不同网段上从DHCP总服务器获取IP地址分配给下面的各个主机。 3、路由器和交换机都可充当中继。DHCP中继在两个网段间代理客户端和服务器请求,中继服务器需要…

实现异步天气数据获取与Spring缓存集成

你好呀,我是小邹。 在Web应用中,实时天气数据的获取是一个常见的需求,特别是在需要频繁更新天气信息的场景下,如旅游网站、天气应用或任何需要展示地理位置相关天气的应用。然而,频繁的外部API调用不仅会增加服务器的…

Go网络编程-RPC程序设计

gRPC 通信 RPC 介绍 RPC, Remote Procedure Call,远程过程调用。与 HTTP 一致,也是应用层协议。该协议的目标是实现:调用远程过程(方法、函数)就如调用本地方法一致。 如图所示: 说明: Servi…

生活中生智慧

【 圣人多过 小人无过 】 觉得自己做得不够才能做得更好,互相成全;反求诸己是致良知的第一步;有苦难才能超越自己,开胸怀和智慧;不浪费任何一次困苦,危机中寻找智慧,成长自己。 把困苦当作当下…

WINUI或WPF灵活使用样式、控件模板、自定义控件、用户控件

在WINUI与WPF 中,控件模板(ControlTemplate)、样式(Style)、自定义控件(CustomControl)和用户控件(UserControl)都是构建复杂和灵活用户界面的重要工具,但它们…

SpringCloudAlibaba-Seata2.0.0与Nacos2.2.1

一、下载 ## 下载seata wget https://github.com/apache/incubator-seata/releases/download/v2.0.0/seata-server-2.0.0.tar.gz## 解压 tar zxvf seata-server-2.0.0.tar.gz二、执行sql文件 ## 取出sql文件执行 cd /seata/script/server/db/mysql ## 找个mysql数据库执行三、…

java文本比较解决方案

参考资料 VBA计算页码和行号https://learn.microsoft.com/zh-cn/office/vba/api/word.wdinformation 概述: 最近在做word文档对比的,总结了几种解决方案,记录一下 在java中,常用的文本对比方案有如下几种: 差异比较…

数据结构--二叉树收尾

目录 1.二叉树的销毁 2.层序遍历 2.1深度优先搜索 2.1.1满(完全)二叉树引入 2.1.2什么是广度优先搜索 2.2广度优先搜索 2.2.1基本思路 2.2.2代码解析 3.完全二叉树的判断 3.1思路分析 3.2原理剖析 3.3代码分析 4.逆推二叉树结构 1.二叉树的销…