移远通信边缘计算模组成功运行DeepSeek模型,以领先的工程能力加速端侧AI落地

近日,国产大模型DeepSeek凭借其“开源开放、高效推理、端侧友好”的核心优势,迅速风靡全球。移远通信基于边缘计算模组SG885G,已成功实现DeepSeek模型的稳定运行,并完成了针对性微调。

目前,该模型正在多款智能终端上进行深入测试与优化。移远通信将凭借其卓越的工程化能力,加速端侧AI技术在各行各业的规模化应用与普及。

DeepSeekAI模型创新先锋

DeepSeek之所以火爆全球,源于其在模型架构、蒸馏技术以及强化学习等方面的突破性创新。

完整版DeepSeek-V3模型采用创新的MoE(混合专家)架构,拥有6,710亿参数,每秒可处理60个Token,擅长处理长文档分析、多模态推理等复杂任务和高精度场景。其每层包含256个路由专家和1个共享专家,每个Token仅激活8个专家,极大地提升了学习效率和灵活性,显著降低了训练和推理成本,同时加速了Tokens生成。

为解决小推理模型Self-play学习的不足,DeepSeek-R1通过高效蒸馏技术,将大模型的推理能力迁移到更小、更高效的版本中。这一突破使其小尺寸版本在保持卓越性能的同时,显著降低了模型体积和计算资源需求,成为端侧部署的理想选择。

同时,DeepSeek-R1-Zero实验性版本证明了仅通过强化学习(Reinforcement Learning,RL)、无需监督式微调,大模型也能具备强大的推理能力,为AI模型的训练开辟了新思路。

DeepSeek小尺寸版本:端侧部署的理想选择

DeepSeek-R1版本专注于强化学习技术路线,推理能力强、性价比突出,基于该版本开发的系列小尺寸蒸馏模型,参数范围覆盖1.5B至70B,为开发者提供了高性能、低成本的大模型部署与开发解决方案,将有力推动端侧AI的商业化应用。

简化后的小模型从大模型中继承了强大的AI能力,尽管参数量减少,但性能依然出色。由于计算量大幅降低,减少了内存和计算资源的消耗,因此特别适合资源有限的端侧设备。同时,推理速度显著提升,能够满足端侧设备对实时性的需求。此外,小模型体积更小,适配性更强,更容易在各种行业终端和边缘计算设备上集成和运行。尽管模型压缩,但通过蒸馏技术,小模型仍能保持较高的精度,确保任务效果不受影响。

移远通信:以领先的工程能力加速端侧AI落地

在众多厂商仍在探索如何支持DeepSeek模型之际,移远通信已率先取得突破,其搭载高通QCS8550平台的边缘计算模组SG885G,成功实现了DeepSeek-R1蒸馏小模型的稳定运行。实测数据显示,其生成Tokens的速度超过每秒40个Tokens,且未来随着性能的不断优化,速度还将进一步提升,为智能终端设备带来更强大的AI能力。

同时,移远通信还与行业合作伙伴紧密合作,在机器人、智能座舱、智能工业等客户应用上开展深入测试与优化,为用户提供更为流畅的AI体验。

搭载DeepSeek模型的移远边缘计算模组和解决方案,不仅适用于消费类和工业类机器人领域,还可广泛应用于智能座舱、机器视觉、个性化虚拟助理、平板电脑、老人监护、智能家居、AI玩具及可穿戴设备等多元化场景,为各行业提供强大的AI赋能,例如更自然的语音交互、更精准的图像识别以及更加个性化的服务体验。

此外,在成功实现DeepSeek模型端侧运行的基础上,移远通信还完成了该模型的针对性微调,并应用于自身的大模型解决方案中,为客户提供更精准、更高效的端侧AI服务。这一成果不仅彰显了移远通信在端侧AI领域的技术实力,更体现了其领先的工程化能力,将有力推动AIoT应用的快速发展与落地。

面向亟待接入AI能力的广泛垂直领域,移远通信将持续投入资源,推动更多高、中、入门级边缘计算模组,以及智能座舱、5G、LTE模组和解决方案全面接入DeepSeek等先进模型以及云端大模型,助力物联网设备实现智能化升级,开启万物智联新时代。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/18490.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

resultType,jdbcType,parameterType区别

1. resultType 用途: 用于定义 SQL 查询结果的返回类型。 直接将查询结果映射到指定的 Java 类型(基本类型、POJO 或 Map)。 特点: 要求数据库字段名与 Java 对象的属性名完全一致(或通过别名匹配)。 …

字符设备驱动开发

驱动就是获取外设、传感器数据和控制外设。数据会提交给应用程序。 Linux 驱动编译既要编写一个驱动,还要编写一个简单的测试应用程序。 而单片机下驱动和应用都是放在一个文件里,也就是杂在一块。而 Linux 则是分开了。 一、字符设备驱动开发流程 Lin…

【免费送书活动】《MySQL 9从入门到性能优化(视频教学版)》

本博主免费赠送读者3本书,书名为《MySQL 9从入门到性能优化(视频教学版)》。 《MySQL 9从入门到性能优化(视频教学版)(数据库技术丛书)》(王英英)【摘要 书评 试读】- 京东图书 这本书已经公开…

UE求职Demo开发日志#32 优化#1 交互逻辑实现接口、提取Bag和Warehouse的父类

1 定义并实现交互接口 接口定义: // Fill out your copyright notice in the Description page of Project Settings.#pragma once#include "CoreMinimal.h" #include "UObject/Interface.h" #include "MyInterActInterface.generated.h…

DeepSeek 指导手册(入门到精通)

第⼀章:准备篇(三分钟上手)1.1 三分钟创建你的 AI 伙伴1.2 认识你的 AI 控制台 第二章:基础对话篇(像交朋友⼀样学交流)2.1 有效提问的五个黄金法则2.2 新手必学魔法指令 第三章:效率飞跃篇&…

Next.js【详解】获取数据(访问接口)

Next.js 中分为 服务端组件 和 客户端组件&#xff0c;内置的获取数据各不相同 服务端组件 方式1 – 使用 fetch export default async function Page() {const data await fetch(https://api.vercel.app/blog)const posts await data.json()return (<ul>{posts.map((…

【kafka系列】生产者

目录 发送流程 1. 流程逻辑分析 阶段一&#xff1a;主线程处理 阶段二&#xff1a;Sender 线程异步发送 核心设计思想 2. 流程 关键点总结 重要参数 一、核心必填参数 二、可靠性相关参数 三、性能优化参数 四、高级配置 五、安全性配置&#xff08;可选&#xff0…

使用Python爬虫实时监控行业新闻案例

目录 背景环境准备请求网页数据解析网页数据定时任务综合代码使用代理IP提升稳定性运行截图与完整代码总结 在互联网时代&#xff0c;新闻的实时性和时效性变得尤为重要。很多行业、技术、商业等领域的新闻都可以为公司或者个人发展提供有价值的信息。如果你有一项需求是要实时…

JAVA安全—Shiro反序列化DNS利用链CC利用链AES动态调试

前言 讲了FastJson反序列化的原理和利用链&#xff0c;今天讲一下Shiro的反序列化利用&#xff0c;这个也是目前比较热门的。 原生态反序列化 我们先来复习一下原生态的反序列化&#xff0c;之前也是讲过的&#xff0c;打开我们写过的serialization_demo。代码也很简单&…

DeepSeek 助力 Vue 开发:打造丝滑的无限滚动(Infinite Scroll)

前言&#xff1a;哈喽&#xff0c;大家好&#xff0c;今天给大家分享一篇文章&#xff01;并提供具体代码帮助大家深入理解&#xff0c;彻底掌握&#xff01;创作不易&#xff0c;如果能帮助到大家或者给大家一些灵感和启发&#xff0c;欢迎收藏关注哦 &#x1f495; 目录 Deep…

计算机视觉:卷积神经网络(CNN)基本概念(二)

接上一篇《计算机视觉&#xff1a;卷积神经网络(CNN)基本概念(一)》 二、图像特征 三、什么是卷积神经网络&#xff1f; 四、什么是灰度图像、灰度值&#xff1f; 灰度图像是只包含亮度信息的图像&#xff0c;没有颜色信息。灰度值&#xff08;Gray Value&#xff09;是指图…

vscode/cursor 写注释时候出现框框解决办法

一、问题描述 用vscode/cursor写注释出现如图的框框&#xff0c;看着十分难受&#xff0c;用pycharm就没有 二、解决办法 以下两种&#xff0c;哪个好用改那个 &#xff08;1&#xff09;Unicode Highlight:Ambiguous Characters Unicode Highlight:Ambiguous Characters &a…

【2.10-2.16学习周报】

文章目录 摘要Abstract一、理论方法介绍1.模糊类增量学习2.Rainbow Memory(RM)2.1多样性感知内存更新2.2通过数据增强增强样本多样性(DA) 二、实验1.实验概况2.RM核心代码3.实验结果 总结 摘要 本博客概述了文章《Rainbow Memory: Continual Learning with a Memory of Divers…

ABP - 事件总线之分布式事件总线

ABP - 事件总线之分布式事件总线 1. 分布式事件总线的集成1.2 基于 RabbitMQ 的分布式事件总线 2. 分布式事件总线的使用2.1 发布2.2 订阅2.3 事务和异常处理 3. 自己扩展的分布式事件总线实现 事件总线可以实现代码逻辑的解耦&#xff0c;使代码模块之间功能职责更清晰。而分布…

Zotero7 从下载到安装

Zotero7 从下载到安装 目录 Zotero7 从下载到安装下载UPDATE2025.2.16 解决翻译api异常的问题 下载 首先贴一下可用的链接 github官方仓库&#xff1a;https://github.com/zotero/zotero中文社区&#xff1a;https://zotero-chinese.com/官网下载页&#xff1a;https://www.z…

typecho快速发布文章

typecho_Pytools typecho_Pytools工具由python编写&#xff0c;可以快速批量的在本地发布文章&#xff0c;不需要登陆后台粘贴md文件内容&#xff0c;同时此工具还能查看最新的评论消息。… 开源地址: GitHub Gitee 使用教学&#xff1a;B站 一、主要功能 所有操作不用登陆博…

Redis7——基础篇(一)

前言&#xff1a;此篇文章系本人学习过程中记录下来的笔记&#xff0c;里面难免会有不少欠缺的地方&#xff0c;诚心期待大家多多给予指教。 基础篇&#xff1a; Redis&#xff08;一&#xff09; 一、Redis定义 官网地址&#xff1a;Redis - The Real-time Data Platform R…

K8s组件

一、Kubernetes 集群架构组件 K8S 是属于主从设备模型&#xff08;Master-Slave 架构&#xff09;&#xff0c;即有 Master 节点负责集群的调度、管理和运维&#xff0c;Slave 节点是集群中的运算工作负载节点。 主节点一般被称为 Master 节点&#xff0c;master节点上有 apis…

草图绘制技巧

1、点击菜单栏文件–》新建–》左下角高级新手切换–》零件&#xff1b; 2、槽口&#xff1a;直槽口&#xff0c;中心点槽口&#xff0c;三点源槽口&#xff0c;中心点圆弧槽口&#xff1b; 3、草图的约束&#xff1a;需要按住ctrl键&#xff0c;选中两个草图&#xff0c;然后…

一款基于若依的wms系统

Wms-Ruoyi-仓库库存管理 若依wms是一套基于若依的wms仓库管理系统&#xff0c;支持lodop和网页打印入库单、出库单。毫无保留给个人及企业免费使用。 前端采用Vue、Element UI。后端采用Spring Boot、Spring Security、Redis & Jwt。权限认证使用Jwt&#xff0c;支持多终…