MiniCPM-V 2.6

面壁智能推出了一款颠覆性的端侧AI多模态模型——MiniCPM-V 2.6。这个被亲切地称为"小钢炮"的模型，以其惊人的性能和极致的效率，向业界巨头发起了挑战。

MiniCPM-V 2.6

MiniCPM-V 2.6 是 MiniCPM-V 系列中最新、性能最佳的模型。该模型基于 SigLip-400M 和 Qwen2-7B 构建，共 8B 参数。与 MiniCPM-Llama3-V 2.5 相比，MiniCPM-V 2.6 性能提升显著，并引入了多图和视频理解的新功能。MiniCPM-V 2.6 的主要特点包括：

领先的性能：MiniCPM-V 2.6 在最新版本 OpenCompass 榜单上（综合 8 个主流多模态评测基准）平均得分 65.2，以8B量级的大小在单图理解方面超越了 GPT-4o mini、GPT-4V、Gemini 1.5 Pro 和 Claude 3.5 Sonnet 等主流商用闭源多模态大模型。

多图理解和上下文学习：MiniCPM-V 2.6 还支持多图对话和推理。它在 Mantis-Eval、BLINK、Mathverse mv 和 Sciverse mv 等主流多图评测基准中取得了最佳水平，并展现出了优秀的上下文学习能力。

视频理解：MiniCPM-V 2.6 还可以接受视频输入，进行对话和提供涵盖时序和空间信息的详细视频描述。模型在 有/无字幕 评测场景下的 Video-MME 表现均超过了 GPT-4V、Claude 3.5 Sonnet 和 LLaVA-NeXT-Video-34B等商用闭源模型。

强大的 OCR 能力及其他功能：MiniCPM-V 2.6 可以处理任意长宽比的图像，像素数可达 180 万（如 1344x1344）。在 OCRBench 上取得最佳水平，超过 GPT-4o、GPT-4V 和 Gemini 1.5 Pro 等商用闭源模型。基于最新的 RLAIF-V 和 VisCPM 技术，其具备了可信的多模态行为，在 Object HalBench 上的幻觉率显著低于 GPT-4o 和 GPT-4V，并支持英语、中文、德语、法语、意大利语、韩语等多种语言。

卓越的效率：除了对个人用户友好的模型大小，MiniCPM-V 2.6 还表现出最先进的视觉 token 密度（即每个视觉 token 编码的像素数量）。它仅需 640 个 token 即可处理 180 万像素图像，比大多数模型少 75%。这一特性优化了模型的推理速度、首 token 延迟、内存占用和功耗。因此，MiniCPM-V 2.6 可以支持 iPad 等终端设备上的高效实时视频理解。

易于使用：MiniCPM-V 2.6 可以通过多种方式轻松使用： llama.cpp 和 ollama 支持在本地设备上进行高效的 CPU 推理， int4 和 GGUF 格式的量化模型，有 16 种尺寸，vLLM 支持高吞吐量和内存高效的推理，针对新领域和任务进行微调，使用 Gradio 快速设置本地 WebUI 演示，在线demo即可体验。

性能评估

官方给出的性能测评图

如果有一个AI模型，它的体积只有你手机的一小部分，却能完成复杂的视觉理解任务，甚至能与那些庞大的云端模型一较高下。这听起来像是科幻小说的情节，但MiniCPM-V 2.6却将其变为了现实。

这个只有8B参数的"小不点"，竟然在20B以下的单图、多图和视频理解领域取得了三项SOTA（State-of-the-Art）成绩。它不仅全面对标了GPT-4V的水平，更在某些方面出人意料地超越了这个行业巨头。

MiniCPM-V 2.6的单token编码像素密度（Token Density）是GPT-4o的两倍。这是什么概念呢？简单来说，就是它能用更少的计算资源，处理更多的视觉信息。这就好比一个超级压缩算法，能让一部4K电影塞进一个1MB的U盘里，而且播放时还能保持完美画质。

不仅如此，MiniCPM-V 2.6的视觉token数量比上一代模型减少了30%，比同类模型更是低了惊人的75%。这意味着它在处理视觉信息时，能以更少的计算开销达到更好的效果。就像是一位武功高手，能用一根手指就击败对手的全力一击。

在实际应用中，这种高效率带来的好处是显而易见的。经过量化处理后，MiniCPM-V 2.6只需要6GB的内存就能运行，而且推理速度高达每秒18个tokens，比上一代模型快了整整33%。这就好比把一台超级计算机的能力浓缩进了你的智能手表，让你随时随地都能享受到顶级AI的服务。

实测情况

官方实测展示

在多图理解方面，MiniCPM-V 2.6在Mantis-Eval榜单上的表现更是令人瞠目结舌。它不仅实现了开源模型中的最好成绩，更是超越了GPT-4V这个行业巨头。

视频理解能力方面，MiniCPM-V 2.6在Video-MME榜单上同样表现出色，达到了端侧SOTA水平，再次超越了GPT-4V。这就像一个微型摄像机，不仅能拍出IMAX级别的画面，还能自动剪辑出精彩的故事。

不仅如此，MiniCPM-V 2.6在OCR能力上也延续了"小钢炮"系列的传统优势，在OCRBench上实现了开源和闭源模型的双料SOTA。它能轻松识别各种复杂场景中的文字，无论是街道招牌还是手写笔记，都能准确解读。

最后，在幻觉评测榜单Object HalBench上，MiniCPM-V 2.6展现出了惊人的稳定性。它的幻觉率低于GPT-4o、GPT-4V甚至是Claude 3.5 Sonnet等多款商用模型。这意味着它不仅能看得准，还能看得真，大大提高了AI辅助决策的可靠性。

 有关厚德云

厚德云致力于为用户提供稳定、可靠、易用、省钱的 GPU 算力解决方案。海量 GPU 算力资源租用，就在厚德云。