AI 手机的技术展望

        某某领导问到我,AI手机这个产业发展如何?对于,地方科技园区,应该如何发展相关产业?我一时还真说不上来,于是,查了一下资料,大概应对了一下。

一:AI手机的定义

        首先,AI手机是最近两年的说法,它的出现,应该以三星手机的发布为起点:

   三星会重点宣传 Galaxy S24 系列的多语言实时翻译功能。这一功能就来自谷歌提供的 Gemini Ultra 模型。

        去年三星手机发布会,第一次宣布AI手机。实际上仅仅是接了一下公网大模型,实时翻译了一下通话。

   苹果在2024.06的开发者大会上宣布:GPT-4o 被集成到了 iOS 18 中,用于改善Siri的功能。

        苹果作为手机第一品牌,在AI手机上反应较慢,最近才加入,首先肯定是要改造那个智障Siri,我看了一下,目前其实已经可以配置使用,但需要GPT4o API,这玩意儿我可用不起,太贵了。

        所以,AI 手机的第一个定义来了:

        AI 手机定义一:搭载了AI应用的手机。

        注意:如果AI应用的服务方是公网服务,那手机端可能啥都不用改。

        如果AI手机就是这样,那基本上的所有手机都能叫AI手机,无非接入个云端大模型,把原有APP改造一下,显得更智能了。这和之前的智能手真没啥不一样。显然,事情并没有那么简单。

       

        我们来看一下之前智能手机想完成,但没有完成的任务:

        场景一:小爱同学,XXXXXX。这是智能手机的语音助手,需要有唤起词,很傻。每次在车里要喊:小德,小德,我觉得我是最傻的。还有进入酒店房间要唤醒小爱同学。

       所以,合理的方式,是让设备方自动识别知道我在发起命令了,比如:

        气息识别——只需要将手机话筒放在嘴边,就可以自动触发与手机的对话和指令。

       

        场景二:手机游戏,RPG主角的移动需要触屏滑动,并不方便。为什么不能手势,或者眼的视线来完成移动。所以,有如下方法:        

        眼动跟踪——可以实现30公分内高精度的眼动捕捉,根据眼动追踪可以智能完成移动。

       

        场景三:手机有android,IOS,鸿蒙,这些系统间的数据共享,工作协同仍有很大障碍。而手机与平板,电脑,各种物联网设备的协同,也是困难。

        目前并没有好的解决方案。

        场景四:更多的情况,人在使用手机时,有些行为实际是可以预知的,人的情绪是可以判定的,人的自然语言需要更好的识别,通过摄像头的动作最好能作为指令,等等……

        按照 上面的场景,我们可以总结一下:

        我们的手机需要能 跨越操作系统(windows,android),万物互联,在不同设备系统间共享数据,协同工作,一致体验。

        我们看荣耀手机在业界首次实现了气息识别能力(不需要提示词),眼动追踪功能,可以实现 30 公分内高精度的眼动捕捉,增强游戏的交互能力,提供相应的API。

        我们希望手机能自动预测用户行为,识别用户情绪,理解用户自然语义,音频分析,提供跨应用APP的交互指引,或者完成服务的直达。

        我们希望手机能提供智能代理提供智能助理,让它能帮助我们完成工作或事务。

        AI 手机定义二:我们需要改造手机操作系统,让它跨系统/跨设备融合,提供更好的交互方式,提供智能助理,让它能有更好的体验,更智能。

二:AI手机的技术

2.1:手机芯片

这是Google最新手机的芯片,可以理解为一颗SoC,Google Tensor。

最关键的组件是 TPU:专用机器学习和AI任务设计的处理单元。提供高效的张量运算。

ISP:图像和视频处理,可显著提升拍照和录像的质量。

MTK 天玑 9300+ 5nm工艺

专用APU:专为AI任务优化,处理复杂的AI算法,如图像识别,语音识别等

高通骁龙8 Gen3 可以装入 100亿的大模型,4nm 工艺

集成了Qualcomm AI Engine:最新的AI处理器。

集成了18-bit 三 ISP:影像处理超强。

2.2:大模型

对于公有云的大模型,没什么可说的。可以用商用的,但是手机厂商为了控制成本,应该会提供一个自训的大模型(或者商业联盟)。上图是OPPO自研的大模型。

对于手机特定场景,可能会存在垂直领域的专用模型,比如:OPPO的  Turbo 大模型,这一般是行业模型,基于通用大模型微调而成。微调的核心是行业数据。

对于手机端一定也会部署模型,这应该也是为了成本和安全。对于海量的手机用户,如果依赖于云端运算,那算力要求太高,并且成本高。一些特定场景,完全可以做tiny模型,比如:OPPO的Tiny轻量模型。

2.3:AI OS

对于AI os ,关键是 LLM Kernel,主要是封装对于LLM Model的调用(Prompt调用),以及上下文管理(因为LLM的token的输入宽是有限的),工具管理(用于Agent的调用),这个类似于 LangChain开源框架的处理。并且要注意,智能代理系统:包括一些典型应用的代理,帮助开发者快速去开发相关应用。

我们拿VIVO的 BlueOS为例:

  • 它深度与AI集成

    • 系统层和内核层都集成了专门的AI处理单元和算法,确保系统能够高效处理各种AI任务。
    • 提供了AI大模型和计算加速平台,使得AI应用能够快速响应和处理复杂任务。
  • 丰富的AI应用和服务

    • 提供多种AI原生应用和个性化服务,满足用户的多样化需求。
    • 第三方应用可以调用系统的AI能力,扩展了AI功能的应用场景。
  • 高效的开发支持

    • 完备的开发工具链和API接口,支持开发者快速开发和集成AI功能。
    • 蓝河Studio和SDK等工具,提供了一站式的开发和测试环境。
  • 智能化的用户体验

    • 通过AI技术,提供智能助手、语音识别、翻译等个性化功能,提升用户体验。
    • AI感知和大模型的应用,使得系统能够主动学习和适应用户行为,提供更智能的服务。

2.4:AI Agent

说到智能体,我们可以用OPPO的 1+N战略为例。

核心智能体(1)

  • 智能中枢:作为整个生态系统的核心,超级智能体集成了强大的AI能力,负责协调和管理各个子智能体的工作。
  • 智能决策:能够进行复杂的智能决策,整合来自不同子智能体的数据和信息,为用户提供个性化和智能化的服务。
  • 学习和适应:通过持续的学习和适应,超级智能体可以不断优化和提升自己的智能水平,满足用户的多样化需求。

子智能体(N)

  • 智能体1、智能体2、智能体3...:每个子智能体负责特定的功能和任务,例如智能家居控制、健康监测、语音助手、图像识别等。
  • 模块化设计:各个子智能体以模块化的方式设计,可以根据不同应用场景进行灵活配置和扩展。
  • 协同工作:子智能体之间通过超级智能体进行协同工作,确保各项任务高效完成,提供无缝的用户体验。

开发平台

  • 开放生态:OPPO AI Pro智能体开发平台为开发者提供了开放的开发环境,支持第三方开发者创建和集成新的智能体,丰富整个生态系统的功能。
  • 工具和支持:平台提供了丰富的开发工具、SDK、API接口和技术支持,帮助开发者快速开发、测试和部署智能体。
  • 创新驱动:通过吸引开发者和合作伙伴参与,推动技术创新和应用创新,持续提升生态系统的智能水平和用户体验。

        OPPO的AI手机平台通过增强创作能力、自学习能力、真实世界感知能力和算力高效利用能力,驱动了智慧OS和智慧平台的全栈革新。同时,通过构建原生服务生态、智能终端生态、大模型生态和算力生态,重构了智能手机的生态系统。这一战略不仅提升了用户体验和设备性能,还推动了智能手机向更高智能化和个性化的方向发展。

3:AI 产品

手机上的AI产品,大致如上图的重要应用。

我们在开发AI产品时,可以考虑属于哪个类型,然后寻找相应的智能代理,或者核心代理,将应用AI化。

4:AI 产品的用户需求

早些年,微信横行,移动互联网初年,手机主要是解决连接的问题。如上:

与人的连接,手机上各应用的连接,与远程服务的连接,与其它设备的连接。

对于AI手机的价值 ,主要突出以下几个点:

  • 更好的人机交互——不能仅仅是触屏了,应该是全新的交互模式,不限于语音,眼球,视频中的动作,应该是更适合人的交互方式。提升体验,人与设备无缝连接。
  • 智能服务——要理解用户,及时响应环境和用户需求,提供个性化的,随时随地的服务。
  • 贴心陪伴——个人情感支持,学习支撑,提供知识。也就是提供人的情绪价值和学习价值。
  • 安全可靠——保护个人隐私,提供更安全可信的环境。

        这些核心价值共同构建了一个智能、贴心且安全的AI手机生态系统,全面提升了用户的使用体验和满意度。

5:AI 手机行业的思考

       提供 tiny的模型(如:100亿参数以内),目前已经有不少,移植到手机上,几款手机芯片都已支持,不过是否可以在本地很好的支撑应用,还是未知的。目前看到的应用,更多是调用的公网的商用模型(超过千亿参数的),这主要是看需求。

        手机平台方需要提供新交互的底层支撑。如:气息识别,眼动识别,视频识别之类的,并形成标准的新交互指引。

        手机APP很活跃,用AI来改造,可以很快推广,但是,大模型提供的不确定性和幻觉需要得到控制。所以,手机厂商应该通过代理服务来屏蔽和解决类似问题,因此,需要有更好的开发平台。针对android,最好是还有一个统一的开发框架,而不是一款手机来一套,至少用框架来规范化相应的开发,然后适配不同手机。

       手机仍然是应用为王,第一拨要改造的肯定是那些明星应用,比如:京东,美团,点评,携程,抖音之类的常见应用。如果这些应用有突破,或者成为手机的底层服务,那将大大加快APP的AI化。

        还是比较看好,AI先在手机上突破,或许它比在制造业,在企业信息化的路径上更短,更快。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/395909.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python管理mysql

[rootserver1 ~]# pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple //这是设置清华镜像站,提高下载安装速度,如果报错提示找不到config,这是因为版本低,临时使用清华镜像站来升级 pip&…

Python PDF文本处理技巧 - 查找和高亮文字

目录 使用工具 Python在PDF中查找和高亮文字并统计出现次数和页码 Python在PDF的特定页面区域中查找和高亮文字 Python使用正则表达式在PDF中查找和高亮文字 Python在PDF中查找文字并获取它的坐标位置 其他查找条件设置 在日常工作和学习中,我们常常需要处理各…

SAP MM学习笔记 - 豆知识05 - Customer Exit 实例,MM01上定义Customer Exit 来Check评估Class

上一章讲了一些MM模块的豆知识。 - MM01中设定的安全在库和最小安全在库 - MM01/MMSC/Customize自动 扩张物料的保管场所 - MM01中定义生产订单的默认入库保管场所 - VA01受注票中设定禁止贩卖某个物料 SAP MM学习笔记 - 豆知识03 - 安全在库和最小安全在库,扩…

linux文件——深度学习文件fd、文件系统调用

前言:从本片开始正式进入linux文件的学习,本片内容主要是文件的fd。 本篇内容博主将要先带友友回忆C语言中的文件操作接口,然后再过渡到操作系统中的系统调用的学习,最后理解操作系统中的文件操作。 ps:本节内容设计一…

AI 深度学习让金融 β 系数估算更精确

作者:老余捞鱼 原创不易,转载请标明出处及原作者。 写在前面的话: 传统的金融贝塔系数估计方法往往依赖于严格的假设,难以准确捕捉 Beta 的动态变化,这限制了它们在实际应用中的有效性。为了解决这些问题,本文开发了一种新方法:NeuralBeta,利用神经网络进行Bet…

Centos7安装高版本内核

背景 买到的设备安装Centos7系统,但是新的处理器已经不支持低版本的Linux内核了。而且在 CentOS 使用过程中,高版本的应用环境可能需要更高版本的内核才能支持,所以难免需要升级内核。 内核种类 关于内核种类: kernel-ml:kerne…

趋动科技陈飞:从小模型到大模型,AI时代下的数据中心建设

自AI大模型横空出世,不断推动着AI从学术界到产业界向大众破圈,新的时代正在来临。11月15-16日,由CDCC主办的“2023第11届数据中心标准大会”在北京国家会议中心盛大开幕。 本届大会的主题围绕“AI时代 重塑未来”,聚焦数据中心领…

Spring:springboot集成jetcache循环依赖问题

springboot版本:2.6.14 jetcache版本:2.6.2 启动项目报错如下: 解决方案: jetcache版本升级到2.6.4 https://github.com/alibaba/jetcache/issues/624

phpstudy搭建sqlilabs本地靶场

请先在网上解决好前置条件的下载和安装:phpstudy、vscode、navicat premium(非必要)、sqlilab的压缩包/文件夹 phpstudy--安装sqlilabs 1.打开phpstudy后,我们会用到MySQL5.7.26和Nginx1.15.11 #mysql5.7.26是因为sqlilabs靶场不支持高版本MySQL 2.在软…

Spring配置

1.Spring的两大核心思想IOC和AOP思想 1.1类注解 1.Controller, Service, Configuration, Component, Repository 1.2方法注解 bean(这个方法搭配上面的五大注解进行使用) 2.Bean的名称 2.1.类注解名称 (1)默认首字母小写驼…

【C语言篇】字符和字符串以及内存函数的详细介绍与模拟实现(上篇)

文章目录 字符函数字符输入输出函数字符输入函数字符输出函数 字符分类函数字符转换函数 字符串函数字符串输入输出函数字符串输入函数字符串输出函数 strlen函数的使用和模拟实现strcpy函数的使用和模拟实现strcat函数的使用和模拟实现strcmp函数的使用和模拟实现strncpy函数的…

三十三、【人工智能】【机器学习】【监督学习】- LightGBM算法模型

系列文章目录 第一章 【机器学习】初识机器学习 第二章 【机器学习】【监督学习】- 逻辑回归算法 (Logistic Regression) 第三章 【机器学习】【监督学习】- 支持向量机 (SVM) 第四章【机器学习】【监督学习】- K-近邻算法 (K-NN) 第五章【机器学习】【监督学习】- 决策树…

【计算机操作系统】死锁的概念

文章目录 死锁的定义死锁、饥饿、死循环的区别死锁产生的必要条件死锁的处理策略小结(思维导图) 死锁的定义 死锁是指多个进程因竞争资源而造成的一种僵局(互相等待),若无外力作用,这些进程都将无法向前推…

二维差分日常练习

前言&#xff1a;一开始写题的时候以为自己还记得&#xff0c;但是写的时候忘记了一个易错点 定义长度为 len , 那么 左上角的坐标为 &#xff08; i , j ) , 那么右下角的坐标为 为 ( i len -1 ,j len -1 ) #define _CRT_SECURE_NO_WARNINGS #include<bits/stdc.h> us…

【阿旭机器学习实战】【39】脑肿瘤数据分析与预测案例:数据分析、预处理、模型训练预测、评估

《------往期经典推荐------》 一、【100个深度学习实战项目】【链接】&#xff0c;持续更新~~ 二、机器学习实战专栏【链接】&#xff0c;已更新31期&#xff0c;欢迎关注&#xff0c;持续更新中~~ 三、深度学习【Pytorch】专栏【链接】 四、【Stable Diffusion绘画系列】专…

苹果电脑维护工具:CleanMyMac X让你的Mac焕发新生!

在我们的数字生活中&#xff0c;苹果电脑&#xff08;Mac&#xff09;已成为不可或缺的一部分&#xff0c;无论是为工作披星戴月&#xff0c;还是为娱乐畅游云端。但是&#xff0c;就像任何长时间运行的机器一样&#xff0c;Mac也可能会因为积累的文件和不必要的数据而开始变慢…

Linux云计算 |【第二阶段】NETWORK-DAY4

主要内容&#xff1a; NAT 原理与配置&#xff08;私有IP地址、静态NAT转换、Easy IP&#xff09;、VRRP解析&#xff08;主路由器、备份路由器、虚拟路由器、优先级&#xff09; 一、NAT概述 NAT 网络地址转换&#xff08;Network Address Translation&#xff09;是一种网络…

NLP从零开始------9文本进阶处理之文本相似度计算

1.文本相似度计算简介 在自然语言处理中&#xff0c;经常会涉及度量两个文本相似度的问题。在诸如对话系统和信息减速等中&#xff0c;度量句子或短语之间的相似度尤为重要。在新闻学传媒中应用文本相似度可以帮助读者快速检索到想要了解的报道。 文本相似度的定义式如下所示&a…

YOLO系列:从yolov1至yolov8的进阶之路 持续更新中

一、基本概念 1.YOLO简介 YOLO&#xff08;You Only Look Once&#xff09;&#xff1a;是一种基于深度神经网络的对象识别和定位算法&#xff0c;其最大的特点是运行速度很快&#xff0c;可以用于实时系统。 2.目标检测算法 RCNN&#xff1a;该系列算法实现主要为两个步骤&…

江科大/江协科技 STM32学习笔记P22

文章目录 AD单通道&AD多通道ADC基本结构和ADC有关的库函数AD单通道AD.cmain.c连续转换&#xff0c;非扫描模式的AD.c AD多通道AD.cmain.c AD单通道&AD多通道 ADC基本结构 第一步&#xff0c;开启RCC时钟&#xff0c;包括ADC和GPIO的时钟&#xff0c;ADCCLK的分频器也需…