【AI大模型】Ollama部署本地大模型DeepSeek-R1,交互界面Open-WebUI,RagFlow构建私有知识库

文章目录

  • DeepSeek介绍
    • 公司背景
    • 核心技术
    • 产品与服务
    • 应用场景
    • 优势与特点
    • 访问与体验
    • 各个DeepSeek-R系列模型的硬件需求和适用场景
  • Ollama
    • 主要特点
    • 优势
    • 应用场景
    • 安装和使用
    • 配置环境变量
    • 总结
  • 安装open-webui
    • 下载和安装docker desktop
    • 配置镜像源
    • 安装open-webui
    • 运行和使用
  • RagFlow介绍
    • 主要功能
    • 适用场景
    • 优势
    • 下载及安装
    • 私有知识库
      • 1. 模型供应商配置
      • 2. 创建知识库
      • 3. 创建数据集
      • 4. 创建助理和对话

在这里插入图片描述

个人主页:道友老李
欢迎加入社区:道友老李的学习社区

DeepSeek介绍

DeepSeek官网

DeepSeek(深度求索)是一家专注于实现通用人工智能(AGI)的中国科技公司,致力于通过技术探索与创新,推动智能技术的广泛应用。以下是其核心信息的概述:


公司背景

  • 成立时间:2023年(具体时间未公开披露)
  • 总部:中国杭州
  • 使命:通过AGI技术提升人类生产力,推动社会进步。
  • 愿景:成为全球AGI领域的领导者。

核心技术

  1. 大语言模型(LLM)

    • 自主研发高性能基座模型(如DeepSeek-R1、DeepSeek-R2),支持长文本理解、复杂推理和多语言处理。
    • 模型参数量覆盖数十亿至千亿级,平衡性能与计算效率。
  2. 多模态AI

    • 整合文本、图像、语音等多模态数据,开发跨模态理解与生成能力。
  3. 搜索增强技术

    • 结合搜索引擎实时数据,提升模型在知识更新与事实准确性上的表现。

产品与服务

  • 通用大模型:面向开发者的开放API(如DeepSeek API),支持文本生成、代码编写等任务。
  • 行业定制模型:针对金融、医疗、教育等领域提供垂直场景优化方案。
  • 企业级平台:提供模型训练、部署及管理的全流程工具链(如Fine-tuning平台)。
  • 开源社区:部分模型和技术开源,促进开发者协作(如发布轻量版模型)。

应用场景

  • 智能客服:自动化应答与客户意图分析。
  • 内容生成:营销文案、代码、报告等自动化创作。
  • 数据分析:从非结构化数据中提取洞察,辅助决策。
  • 教育:个性化学习助手与智能题库生成。

优势与特点

  • 技术领先:模型性能在多项基准测试(如MMLU、HumanEval)中位居前列。
  • 场景深耕:聚焦企业级需求,提供高可用的行业解决方案。
  • 生态合作:与云计算厂商、硬件供应商及高校建立联合实验室。

访问与体验

  • 官网提供在线体验入口(如Chat界面)和开发者文档。
  • 部分模型可通过Hugging Face、GitHub等平台获取。

如需更详细的技术参数、商业合作或最新动态,建议访问其官方网站或查阅官方发布的白皮书。

各个DeepSeek-R系列模型的硬件需求和适用场景

在这里插入图片描述
我的电脑配置:
在这里插入图片描述
可以跑7b和14b

Ollama

ollama search

Ollama 是一个开源的 AI 推理框架,专注于模型压缩和部署。它的目标是帮助用户在本地或边缘设备上高效运行大型语言模型(LLM),通过量化和其他技术显著减少模型大小,同时保持高性能。

主要特点

  1. 模型压缩与优化

    • Ollama 提供了多种模型压缩技术,如 4-bit 和 8-bit 量化,使大模型能够在低资源环境下运行。
    • 支持主流语言模型(如 LLaMA、Vicuna 等)的适配和部署。
  2. 高性能推理

    • Ollama 能够在本地设备上实现低延迟、高吞吐量的推理,适合实时应用。
  3. 易于部署

    • 提供简洁的命令行界面(CLI),用户可以轻松下载模型、调整参数并运行推理服务。
    • 支持 Docker 部署,便于在云服务器或边缘设备上快速搭建。
  4. 社区驱动

    • Ollama 是一个开源项目,依赖于活跃的社区支持,用户可以根据需求贡献和改进功能。

优势

  • 轻量化:通过量化技术显著降低模型大小,适合资源受限的环境。
  • 高性能:优化了推理速度,能够在本地快速响应。
  • 灵活性:支持多种模型格式和后端(如 GGML、TensorRT 等)。
  • 易于上手:用户无需复杂的配置即可开始使用。

应用场景

  1. 本地开发与实验

    • 开发者可以轻松在本地运行 LLM,用于快速测试和原型设计。
  2. 边缘计算

    • 在边缘设备(如 Raspberry Pi)上部署轻量级 AI 服务。
  3. 实时推理服务

    • 快速搭建支持多语言模型的推理服务器,满足企业或个人需求。
  4. 教育与研究

    • 提供了一个易于使用的工具,适合教学和研究场景。

安装和使用

国内下载:Ollama下载

  1. 打开cmd控制台,输入:

    ollama
    

    可以看到帮助命令
    在这里插入图片描述

  2. 下载模型(以 DeepSeek-R系列为例):

    ollama pull deepseek-r1:1.5b
    
  3. 启动推理服务:

    ollama serve --port 11434
    
  4. 运行模型:

     ollama run deepseek-r1:1.5b
    

可以开始对话了。

配置环境变量

在这里插入图片描述
OLLAMA_MODELS 是修改OLLAMA下载的模型存储位置,默认是在C盘

总结

Ollama 是一个强大的工具,旨在简化大型语言模型的部署和推理过程。它通过模型压缩和优化技术,使得在本地或边缘设备上运行 AI 模型变得高效且易于管理。无论是开发者、研究人员还是企业用户,Ollama 都能提供灵活和支持,满足多种应用场景的需求。

安装open-webui

下载和安装docker desktop

官网地址:Docker Desktop
在这里插入图片描述

GitHub地址:Docker Desktop

在这里插入图片描述

配置镜像源

在这里插入图片描述
第一个是阿里云的镜像源,可登录阿里云平台查看

"registry-mirrors": ["https://${阿里云的}.mirror.aliyuncs.com","https://docker.m.daocloud.io","https://mirror.baidubce.com","https://docker.nju.edu.cn","https://mirror.iscas.ac.cn"]

安装open-webui

搜索open-webui
在这里插入图片描述
在这里插入图片描述
我这里已经安装过了。

运行和使用

在容器中运行open-webui,然后浏览器输入http://localhost:3000
在这里插入图片描述
进入设置
在这里插入图片描述
配置Ollama地址
在这里插入图片描述
配置好后,保存,正常的情况下,界面就会显示Ollama中已下载好的模型了
在这里插入图片描述
完成!可以开始对话了!

RagFlow介绍

RagFlow 是一个基于大语言模型的流程自动化工具,旨在帮助用户通过自然语言处理(NLP)技术来自动化和优化工作流程。它结合了先进的AI技术和直观的用户界面,使得非技术人员也能轻松实现流程自动化。

主要功能

  1. 智能对话交互:用户可以通过与RagFlow进行自然语言对话,定义、管理和优化各种工作流程。
  2. 任务自动化:支持多种任务类型,如数据处理、信息提取、报告生成等,帮助用户自动完成重复性工作。
  3. 跨系统集成:能够与主流的第三方服务(如Slack、Jira、Google Drive等)无缝集成,实现不同系统的数据流动和协同工作。
  4. 动态流程调整:根据实时数据和上下文环境,智能调整工作流程,确保流程始终高效运行。
  5. 可扩展性:支持大规模业务需求,适用于从个人到企业的各种场景。

适用场景

  • 企业流程优化:帮助企业在销售、 marketing、客服等环节实现自动化,提升效率。
  • 个人任务管理:用户可以通过RagFlow自动化个人日常任务,如行程安排、邮件处理等。
  • 数据整合与分析:通过自动化数据收集和处理,支持更高效的决策制定。

优势

  • 易用性:无需编程知识,用户即可快速上手。
  • 灵活性:支持定制化需求,满足不同用户的个性化要求。
  • 高效性:利用AI技术提升流程执行效率,减少人工干预。

RagFlow 通过将复杂的流程自动化转化为简单的对话交互,极大地提升了工作效率和用户体验。如果你有具体的使用场景或问题,可以进一步探讨如何利用RagFlow来优化你的工作流程!

下载及安装

  1. 从github上下载 ragflow或直接:
git clone https://github.com/infiniflow/ragflow.git
  1. 运行脚本:进入docker 文件夹,利用提前编译好的 Docker 镜像启动服务器
docker compose -f docker-compose-CN.yml up -d

这个过程会很慢,成功后,会自动运行容器中的服务:
在这里插入图片描述
浏览器上输入:http://localhost
在这里插入图片描述
第一个注册的账号就是管理员,登录成功
在这里插入图片描述

私有知识库

1. 模型供应商配置

点击头像,进入模型供应商配置
在这里插入图片描述
选择下面列表中的Ollama,然后进行模型配置
在这里插入图片描述
模型名称就是Ollama中下载的模型名称

2. 创建知识库

在这里插入图片描述
解析方法改成General,其他默认即可
在这里插入图片描述

3. 创建数据集

在这里插入图片描述
新增本地文件
在这里插入图片描述
执行解析,等待解析完成
在这里插入图片描述
在这里插入图片描述

4. 创建助理和对话

切换到聊天页,新建助理,选择知识库
在这里插入图片描述

切换到模型设置,调整一下最大token数
在这里插入图片描述
新建聊天,开始对话
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/16984.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【办公】钉钉修改默认存储位置,释放C盘空间

Step1: 右击钉钉图标选择设置 Step2: 通用里面找到文件保存位置,修改文件目录: 最新版本钉钉界面: 设置完成后按提示重启即可!

MVC(Model-View-Controller)framework using Python ,Tkinter and SQLite

1.项目结构 sql: CREATE TABLE IF NOT EXISTS School (SchoolId TEXT not null, SchoolName TEXT NOT NULL,SchoolTelNo TEXT NOT NULL) 整体思路 Model:负责与 SQLite 数据库进行交互,包括创建表、插入、删除、更新和查询数据等操作。View&#xff1…

MongoDB 扩缩容实战:涵盖节点配置、服务启动与移除操作

#作者:任少近 文章目录 一、扩容在245节点上配置配置config server:配置mongos启动config server安装工具mongosh添加245新节点到副本集配置分片副本集启动路由并分片 二、缩容Conf server上去掉server4shard上去掉server4mongos上去掉server4 一、扩容…

AGI时代的认知重塑:人类文明的范式转移与思维革命

文章目录 引言:站在文明转型的临界点一、认知危机:当机器开始理解世界1.1 AGI的本质突破:从模式识别到世界建模1.2 人类认知的脆弱性暴露二、认知革命:重构思维的四个维度2.1 元认知升级:从直觉思维到二阶观察2.2 混合智能:人机认知回路的构建2.3 认知安全:防御机器思维…

Java学习进阶路线

Java基础 Java Web 前端HTML/css/js,J2EE(Servlet/jsp),数据库(Mysql/oracle) Java开发框架 Spring MVC/Mybatis/Herbernate/maven 《Java编程思想》 深入了解java基础 Java设计模式 《Effective j…

cursor接入deepseek

cursor安装 cursor下载地址: https://www.cursor.com/ Cursor为新用户提供14天的免费试ai。在这段时间内,你可以使用所有权限内的功能,并享受500次高级模型的快速请求。 额度用完或到期无法使用ai功能,不影响继续使用软件&#…

vscode/cursor+godot C#中使用socketIO

在 Visual Studio Code(VS Code)中安装 NuGet 包(例如SocketIOClient),你可以通过以下几种方法: 方法 1:使用dotnet cli 打开终端:在 VS Code 中按下Ctrl 或者通过菜单View -> Terminal打开终端。 导…

LabVIEW 用户界面设计基础原则

在设计LabVIEW VI的用户界面时,前面板的外观和布局至关重要。良好的设计不仅提升用户体验,还能提升界面的易用性和可操作性。以下是设计用户界面时的一些关键要点: 1. 前面板设计原则 交互性:组合相关的输入控件和显示控件&#x…

git服务器搭建,gitea服务搭建,使用systemclt管理服务

文章目录 页面展示使用二进制文件安装git服务下载选择架构使用wget下载安装 验证 GPG 签名服务器设置准备环境创建systemctl文件 备份与恢复备份命令 (dump)恢复命令 (restore) 页面展示 使用二进制文件安装git服务 所有打包的二进制程序均包含 SQLite,MySQL 和 Po…

Kotlin Lambda

Kotlin Lambda 在探索Kotlin Lambda之前,我们先回顾下Java中的Lambda表达式,Java 的 Lambda 表达式是 Java 8 引入的一项强大的功能,它使得函数式编程风格的代码更加简洁和易于理解。Lambda 表达式允许你以一种更简洁的方式表示实现接口&…

Wpf美化按钮,输入框,下拉框,dataGrid

Wpf美化按钮&#xff0c;输入框&#xff0c;下拉框&#xff0c;dataGrid 引用代码后 引用资源 <ControlTemplate x:Key"CustomProgressBarTemplate" TargetType"ProgressBar"><Grid><Border x:Name"PART_Track" CornerRadius&q…

音视频协议

1. 多媒体信息 1.1 多媒体信息的两个主要特点&#xff1a; 信息量很大 标准语音&#xff1a;64Kbits(8KHz采样&#xff0c;8位编码)高质量音频&#xff1a;3Mbps(100KHz采样&#xff0c;12位编码) 在传输多媒体数据时&#xff0c;对时延和时延抖动均有较高要求 1.2 处理时延…

第一天:爬虫介绍

每天上午9点左右更新一到两篇文章到专栏《Python爬虫训练营》中&#xff0c;对于爬虫有兴趣的伙伴可以订阅专栏一起学习&#xff0c;完全免费。 键盘为桨&#xff0c;代码作帆。这趟为期30天左右的Python爬虫特训即将启航&#xff0c;每日解锁新海域&#xff1a;从Requests库的…

稀土抑烟剂——为汽车火灾安全增添防线

一、稀土抑烟剂的基本概念 稀土抑烟剂是一类基于稀土元素&#xff08;如稀土氧化物和稀土金属化合物&#xff09;开发的高效阻燃材料。它可以显著提高汽车内饰材料的阻燃性能&#xff0c;减少火灾发生时有毒气体和烟雾的产生。稀土抑烟剂不仅能提升火灾时的安全性&#xff0c;…

计算机网络-MPLS转发原理

在上一篇关于 MPLS 基础的文章中&#xff0c;我们了解了 MPLS 的基本概念、术语以及它在网络中的重要性。今天&#xff0c;我们将深入探讨 MPLS 转发的原理与流程&#xff0c;帮助大家更好地理解 MPLS 是如何在实际网络中工作的。 一、MPLS 转发概述 MPLS 转发的本质是将数据…

网络安全 | SNI介绍及F5中的配置应用

关注&#xff1a;CodingTechWork SNI介绍 SNI&#xff08;Server Name Indication&#xff09;是 TLS/SSL 协议中的一个重要扩展&#xff0c;旨在解决同一 IP 地址上托管多个网站时&#xff0c;如何选择正确的 SSL/TLS 证书进行加密通信的问题。SNI 通过在 TLS 握手初期传递客…

ARM Cortex-M3/M4 权威指南 笔记【二】架构

一、架构 1.1 架构简介 Cortex-M3/M4 处理器都基于 ARMv7-M 架构。最初的 ARMv7-M 架构是随着 Cortex-M3 处理器一同引入的&#xff0c;而在 Cortex-M4 发布时&#xff0c;架构中又额外增加了新的指令和特性&#xff0c;改进后的架构有时也被称为 ARMV7E-M。要了解 ARM7-M 和…

LabVIEW软件需求开发文档参考

在项目开发的工作历程中&#xff0c;精准把握项目需求无疑是成功打造整个项目的首要关键步骤&#xff0c;同时也是一个至关重要且不可忽视的核心环节。明确且详尽的项目需求就如同建筑的基石&#xff0c;为后续的设计、开发、测试等一系列工作提供了坚实的支撑和清晰的指引。倘…

Linux内核实时机制x - 中断响应测试 Cyclictest分析1

Linux内核实时机制x - 中断响应测试Cyclitest 1 实时性测试工具 rt-test 1.1 源码下载 1.下载源码&#xff1a; ~/0-code/5.15$ git clone git://git.kernel.org/pub/scm/utils/rt-tests/rt-tests.git 正克隆到 rt-tests... remote: Enumerating objects: 5534, done. remot…

Unity 代码优化记录

文档 unity 代码优化分析&#xff1a;https://docs.unity3d.com/Manual/analysis.html Unity 修复性能问题&#xff1a;https://learn.unity.com/tutorial/fixing-performance-problems-2019-3?courseId5c87de35edbc2a091bdae346#604586d7edbc2a5b4345d249 实例 具体枚举转En…