GPT-4刚发布就有手机APP接入,上传照片视频一键解读,还当起了美版知乎的问答bot...

萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

GPT-4刚发布,就已经有手机应用接入了!

只需要上传图像,再用语音提出需求,GPT-4就能帮助视障人士“看清”眼前的世界。

随时随地,实时解读,就像聊天对话一样自然。

例如想要换装,却不知道手里的衣服是什么颜色:

0273ae66b98f2542ace5987fb51cc6cc.gif

只需要拍照上传给GPT-4,它很快就能将衣服纹理描述出来,材质、颜色和形状一清二楚:

6c83011cb8bd594e71d5b9eea7f87a13.png
翻译by有道

在此之前,视障人士除了用手触摸以外,辨别物体往往需要依靠身边的人或是志愿者的帮助。

有网友看到后赞叹:这是目前见过最令人惊叹的GPT-4应用之一!

c3b6625c8b4ebfbfddb67ea3ba5fa89f.png

所以,加入了图像理解功能的GPT-4,究竟展现出了哪些能力?

基于GPT-4读图能力打造

这个基于GPT-4的新功能名叫Virtual Volunteer,来自应用Be My Eyes

目前来看,包括问路、导航、读取菜单、搜索等功能,接入GPT-4的Virtual Volunteer都能很好地帮用户完成。

例如问路

05961ad6fb4236dbc7a0e2b8e414df60.gif

只需要拍一张所在地点的照片,再通过语音询问GPT-4如何到达指定地点,它就会输出一条完整路线图,“读”给用户听:

56a54e33b01ea7683eaaae9d90f28b3b.png
翻译by有道

又例如读图翻译

acd7af1eabf9a063603dca3172033ce2.gif

只需要给GPT-4看眼物品描述、甚至只是物体形状,它就能搜索并输出这个产品的功能、具体说明和使用方法。

13406492111e1c56041073a9a1d4d3ab.png
翻译by有道

再例如公众场合导航

38e58c81cc9b5935b8e1b439090e4208.gif

想去健身房、却无法掌握空闲的器材位置,只需要拍摄所在场景照片,GPT-4就能指引你走到无人的器材面前。

271358d4b60efaa1b942a325ed3ed245.png
翻译by有道

当然,还有点菜、使用自动贩卖机买饮料、搜索某种植物的名字、给出时装建议……

43828e96c9de9919554804f51c892a07.gif

只要将需求告诉GPT-4,它就能帮助视障人士解决对应的问题。

不过,目前这一功能还在测试中,苹果商店可以加入等待列表,至于安卓版也快来了。

816e8ae57329be88e87e48747769b173.png

搭载它的应用Be My Eyes,是一个为盲人开发的公益应用。

它最早是一个2012年成立的互助社区,并于2015年上线iOS版本应用,随后又上线了安卓版应用。

这个应用分为志愿者和盲人两个群体,志愿者会接受盲人传过来的照片或视频,通过语音沟通(打电话)帮助他们解决困难,目前已经有接近45w+视障人士和630w+志愿者使用。

020bb85083aeb255fa94e80c82992754.png

如果成为一名志愿者,则只需要保持在线,确保随时可以接听到视障人士的电话。

如果是视障人士使用,则可以在需要帮助时拨打志愿者电话,或是寻求一些专业人士的帮助:

d6cc071cb9f2edc2b0b49ef6af25b0ff.png

现在加入Virtual Volunteer之后,盲人也可以呼叫“虚拟志愿者”GPT-4的帮助,不用担心深夜无人应答的问题。

官方还玩了个谐音梗,AI→Eyes,“让AI成为你的眼睛”:

446c124e222d088e25f41f6a03f92470.png

还当起美版知乎问答bot

当然,除了Be My Eyes应用以外,不少其他APP也在争先恐后接入GPT-4。

例如,在美版知乎Quora出的Poe上,现在已经可以和GPT-4聊天(限免一句话5c76a112e01f7f9664b6d8d83586e9a9.png):

cb6b355d2836469cc2de8643d58abf02.jpeg

又像AI律师软件DoNotPay,同样已经接入了GPT-4,并计划用它来推出“一键诉讼”服务。

c4271a355811519487d5fb318461304e.gif

基于这个服务,你看不顺眼的电话诈骗,一键就能举报投诉。

如果接到电话诈骗,只需要点击一个按钮,对应的电话内容就会被全程录音,并生成1000字的诉讼内容,索赔1500美元的金额。(不过目前还只有美国地区适用)

值得一提的是,DoNotPay的CEO Joshua Browder表示,他们之前也用GPT-3.5做过类似的功能,但效果不太行,GPT-4则已经能很好地hold住这一要求。

5b83fdaec9993450e867b69ca1816277.png

甚至已经有网友尝试用GPT-4来搞药物发现了……

3aaf6e29668edeac7e4388ebc9bc6115.png

除了上述应用和功能以外,还有网友察觉到了GPT-4开发小游戏的前景。

新的GPT-4似乎在编程靠谱度上也有所提升,无论是在60秒内做一个打乒乓球小游戏:

df0abb5f148efb58e25919390aa98a12.gif

还是20分钟之内搞出一个完整的贪吃蛇:

abaf522f0541a28498a7e5ea87295d20.gif

都可以说是游刃有余,提出更改需求也可以及时完成,编写的简单程序中基本上没有遇到需要修改的bug。

你还想到了什么GPT-4好玩的应用场景吗?

参考链接:
[1]https://twitter.com/BeMyEyes/status/1635690254689599488
[2]https://twitter.com/skirano/status/1635736107949195278
[3]https://twitter.com/ammaar/status/1635754631228952576
[4]https://www.bemyeyes.com/download
[5]https://twitter.com/jbrowder1/status/1635720431091974157

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/15792.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

whisper:robust speech recognition via large-sacle weak supervision

OpenAI Whisper 精读【论文精读45】_哔哩哔哩_bilibili更多论文:https://github.com/mli/paper-reading, 视频播放量 68331、弹幕量 327、点赞数 2332、投硬币枚数 1192、收藏人数 983、转发人数 394, 视频作者 跟李沐学AI, 作者简介 ,相关视频&#xff…

《通义听悟能这么用?大佬语音面试音频通义AI总结》

此文章更适用与:有会议记录、直播记录、面试记录的朋友和知识内容博主等 1、把录音视频文件上传到电脑 2、上传音视频入口 3、上传音视频 4、选择语言是否翻译 5、选择是否区分发言人 我这里是某大佬的语音面试音频文件,选择了2人对话。 6、效果展示 总…

强到离谱!2023年必备的21款AI工具

2022年是AI技术大发展的一年,特别是ChatGPT的很空出世,让AI工具迎来大爆发,今天就给大家整理出21款免费且实用的AI工具推荐,无论是做设计还是日常学习工作都能用得到。2023年已经开始,让这些AI工具帮你提升生产效率&am…

《AI上字幕》基于openAI研发的whisper模型,语音(视频)一键转文本/字幕/带时间轴/支持多语言/自带翻译《桌面版教程》

简介: OpenAI的chatGPT非常火爆,其实OpenAI旗下的另一个模型实力也十分强大,它就是开源免费的Whisper语音转文本模型,目前为止它是较为顶尖的语音转文本模型 当前github上也有许多出色的开发者根据此模型开发出桌面版语音转文字应…

用GitChat赚钱的6种方法

先说下GitChat这个平台,其主页是:https://gitbook.cn/ 。 GitChat是针对技术人的知识付费平台,创始人是谢工,中途被CSDN收购,现在属于CSDN,不过依然是以独立品牌在运作。目前已完成和CSDN的衔接&#xff0c…

ChatGPT帮你梳理最全Java多线程编程知识

目录 引言 引入多线程编程的重要性和应用场景 介绍多线程的优势和挑战 什么是多线程? 线程与进程的区别 线程的创建与生命周期管理 线程的创建方式 …

ChatGPT、Midjourney不香了吗,New Bing 已向全球个人开放

文章目录 1. 前言2. 教程3. 开始 Bing AI 以上图片均由Bing AI生成。(后文给出第一幅图的关键字) 本文没有任何广告,放心食用,并且手把手教你怎么配置new bing,有需要的耐心看完哦,不懂的可私信我~ 1. 前…

胎教级培训手册:两步让ChatGPT成为小红书标题大师

文 / 高扬(微信公众号:量子论) 上篇介绍了如何编写小红书爆款笔记的内容部分,今天重点介绍给小红书内容起标题。 最近做小红书,我发现一个规律,要想做爆款,除了内容优秀,除了首图亮眼…

关于ChatGPT,我们请小红书技术人和NLP专家聊聊原理和潜力

在微软、百度、阿里、腾讯、小米纷纷宣布入局之后,ChatGPT 再次被送上科技头条。 图源:Financial Times 互联网公司们的争相表态,让大家似乎看到了 ChatGPT 落地应用的曙光。相比去年底,关于 ChatGPT 的讨论,也从技术…

打破创作界限,1天创作1000篇精品小红书带货笔记!chatgpt超级写手机器人创作流程介绍。

【Chatgpt超级写手机器人教程】 1天创作1000篇精品小红书带货笔记!✨ 难听的真话:做运营不用RPA好比猴子不用工具。RPA就是非技术人最佳自动化利器,学三个月Python不如学一周RPA 我是RPA帮创始人阿愚呱呱,特会玩赚RPA的运营人。[R…

胎教级培训手册:四步让ChatGPT成为小红书爆款大师

文 / 高扬(微信公众号:量子论) 最近公众号更新有些慢,因为我在配合陈楚(chenchu727)做小红书。 ChatGPT用在小红书上具有天然优势,然后再接合AI绘画,更是绝配。 AI绘画,陈…

DNS配置与爬虫原理——Dialogue with ChatGPT

本文记录一次与ChatGPT的有趣对话 PS:劳资自下而上,只差应用层了~~ 不对,还不知道ARP欺骗怎么辨别和防止 PS2:问过校园网mac了,应该没有ARP欺骗 学这个有什么用,好玩吗? 写一个爬取对方QQ好友的小程序 很抱…

RK3566-视频话机智慧校园主板方案

RK3566 是一款专为消费类行业应用打造的通用型 SoC。CPU 采用 4 核 A55 架构处理器,集成 G52 图形处理器,且内置独立 NPU,算力为 0.8Tops,运行安卓 11 或 Linux 系统。 基本参数 SOC RK3566,4*A55处理器&#xff0c…

校园网搭建3.0分享梳理,测试还没完成

几个有意思的网络拓扑图先瞧瞧 🐼:网吧网速是流畅到每一秒钟的 步入正题 在某学院校园网目前的实际情况在充分调研的基础上,结合目前技术的发展方向和用户的实际需求,制订了学院校园校园网建设的整体设计方案。通过校园网的设计与…

学术会议盘点!2023年发表SCI的绝佳机会

◆ChatGPT热潮带来的行业革新大行其道,相关区块链、信息安全、视觉、机器学习....产业必将带来诸多变革。 本文为大家梳理了近期可投的4则EI检索的国际会议,均可推荐发表SCI,还有超多IEEE Fellow主讲,不仅涵盖计算机各个学科方向&…

征文 | 吸引铁粉?成为CSDN明星!

💗wei_shuo的个人主页 💫wei_shuo的学习社区 🌐Hello World ! 征文 | 吸引铁粉?成为CSDN明星! 导读 当今数字时代,社交媒体和在线社区成为了人们交流和分享的主要平台之一,CSDN就是其…

有奖征文丨AIGC + Cocos 社区征稿全面开启

AIGC游戏开发,已经发展到何种恐怖地步? 晓衡做了一个视频,介绍了社区大佬,也是晓衡的朋友、老师(之一)——孙二喵,最近的AIGC研究,真的是让人有种瑟瑟发抖的感觉! 视频中…

Git Bash 上传本地文件到Gitee(AI助力解决问题)

#[端午特别征文]探索技术极致,未来因你出“粽”# 前言 消失了将近一个月,预祝大家端午节快乐! 这篇文章主要介绍下在上传本地项目到gitee时出现的问题,以及借助AI解决问题。 Gitee是一个基于 Git 的代码托管和开发协作平台&…

2023年上半年部分团队的总结

把各个环节连起来 从我加入 CSDN 后不久,我就开始公开地总结我们的工作,我分管的团队留下了不少的总结和思考: 这是 2022 年下半年的汇报 这是 2022 年上半年的汇报 这是 2021 年年底的汇报 经过这些思考改进迭代的团队,是不是…

Chatgpt在程序员领域的革新:分析好处与挑战

#【端午特别征文】 探索技术极致,未来因你出“粽”# 前言: 总所周知,当前非常流行的Chatgpt对我们的生活冲击力巨大,那么,今天跟着小编一起来深入了解下这项技术给我们生活带来了哪些便利和困扰。 目录 前言 1、Chatg…