我们对世界的认知和体验是多模式的,我们看向窗外,听到雨滴,闻到青草的味道,触摸到木板的纹理... 某种意义上来说,AI 就是赋予机器类人的感知和智慧,想要让 AI 理解我们周围的世界,它需要同时解释和推理这些多模式信息。
多模态、跨模态就是这样一个充满活力的领域,可以处理和关联来自多种模态信息的模型,具有非凡的潜力和越来越重要的意义。
介绍
多模态应用:让 AI 能够观察同一现象的多种模式,捕获到互补的信息,让预测结果更加可靠。比如电影,通过图像、音频、字幕文本以实现多种模态的理解。
跨模态应用:将源模态映射到目标模态,比如输入一句话,生成与文字高度匹配的一张图。
为什么我们需要多模态、跨模态
多、跨模态应用能够打造全新的用户体验,用户可以使用任何模式的组合来输入和输出,包括但不限于:Verbal(文本)、Vocal(语音)、Visual(视觉)。随着搜索媒介的丰富,搜索领域也正在发生变迁。
可以说,跨模态和多模态应用颠覆了传统单模态的互动方式,在可预见的未来里,我们将迎来一个全内容搜索的世界,无论是文本,图片,语音,视频,代码,元数据等等都可以作为输入源,做到全域全方位的搜索。
每一个时代都有符合当下的范式,正如在计算机程序设计从面向过程范式迈向面向对象的范式。Elasticsearch 代表了文本搜索时代的最佳实践,而 Jina 代表了在多模态、跨模态时代的搜索范式和最佳实践。新的设计范式意味着更清晰简洁的工程架构,业务逻辑和更强的可维护性。对于那些需要从 0 到 1 去开发多媒体搜索 AI 的开发者和公司,Jina 能够帮助节省大量的时间。
目前的挑战
缺少匹配数据:如何提取相互对应的单模态特征表示,用于多模态融合
缺少设计模式:如何一致地表示、计算、存储和传输不同模式的数据
缺少开发框架:如何找到一个可以表示多种模态的标准数据结构
复杂的开发流程:如何在应用中结合多种不同的模态
难以测试的应用:如何确保各种模态都能正常工作,以及用户的使用体验
Jina 是搭建多模态、跨模态应用的首选解决方案
1. 从 DocArray 开始设计原型
2. Jina 将它变成服务
3. 你可以参考 Jina Hub 里的组件,加速开发进度
4. 接着,你可以使用 JCloud 部署项目
5. 如果对准确率、召回率不满意,可以使用 Finetuner 对模型调优
6. 如果你处理的数据是文本和图像,可以使用 CLIP-as-service 作为向量服务
点击 阅读原文,填写社区用户问卷,赢取幸运周边!
加入 J-Tech 交流群
官网:Jina.ai
社区:Slack.jina.ai
开源:Github.com/Jina-ai
扫码加入讨论组
更多精彩内容(点击图片阅读)