面壁智慧推出 8B 引數 MiniCPM-Llama3-V 2.5 開源端側多模態模型

首頁 > 科技

面壁智慧推出 8B 引數 MiniCPM-Llama3-V 2.5 開源端側多模態模型

來源:小了白了兔 釋出時間:2024-05-23 15:39

IT之家 5 月 21 日訊息,面壁智慧昨晚推出並開源 MiniCPM 系列最新的端側多模態模型 MiniCPM-Llama3-V 2.5,支援 30+ 種語言,宣稱可實現:

▲ OpenCompass 模型量級對比

MiniCPM-Llama3-V 2.5 總引數量為 8B,多模態綜合性能超越 GPT-4V-1106、Gemini Pro、Claude 3、Qwen-VL-Max 等商用閉源模型,OCR 能力及指令跟隨能力得到進一步提升,可精準識別難圖、長圖、長文字,並支援超過 30 種語言的多模態互動。

▲ 官方測試結果

在 OpenCompass 測試中,MiniCPM-Llama3-V 2.5 綜合性能超越多模態“巨無霸”GPT-4V 和 Gemini Pro;在 OCRBench 上,超越了 GPT-4o、GPT-4V、Claude 3V Opus、Gemini Pro 等標杆模型。

▲ OpenCompass 測試

▲ OCRBench 測試

▲ Object HalBench 測試

▲ RealWorldQA 測試

此外,在影象編碼方面,MiniCPM-Llama3-V 2.5 首次整合 NPU 和 CPU 加速框架,並結合視訊記憶體管理、編譯最佳化技術,實現了 150 倍加速提升。

在語言模型推理方面,經過 CPU、編譯最佳化、視訊記憶體管理等最佳化方式,MiniCPM-Llama3-V 2.5 在手機端的語言解碼速度由 Llama 3 的 0.5 token / s 上下提升到 3-4 token / s,並可支援 30 多種語言,包括德語、法語、西班牙語、義大利語、俄語等主流語言,基本覆蓋一帶一路國家。

▲ LLaVABench 評測結果

OCR 技術方面,MiniCPM-Llama3-V 2.5 實現高效編碼及無損識別 180 萬高畫質畫素圖片,並且支援任意長寬比、甚至 1:9 極限比例影象。

IT之家 5 月 21 日訊息,面壁智慧昨晚推出並開源 MiniCPM 系列最新的端側多模態模型 MiniCPM-Llama3-V 2.5,支援 30+ 種語言,宣稱可實現:

▲ OpenCompass 模型量級對比

MiniCPM-Llama3-V 2.5 總引數量為 8B,多模態綜合性能超越 GPT-4V-1106、Gemini Pro、Claude 3、Qwen-VL-Max 等商用閉源模型,OCR 能力及指令跟隨能力得到進一步提升,可精準識別難圖、長圖、長文字,並支援超過 30 種語言的多模態互動。

上一篇:電視面板價格... 下一篇:谷歌 DeepMin...
猜你喜歡
熱門閱讀
同類推薦