Google 的 Vision Banana：統一的視覺模型在分割與 3D 幾何方面表現優於任務專用模型

Gate News 訊息，4 月 23 日——Google 研究人員（包含 He Kaiming 和 Xie Saining）發表了一篇論文，介紹 Vision Banana：一款通用型視覺理解模型。該模型是透過對該公司的 Nano Banana Pro (Gemini 3 Pro Image) 影像生成模型進行輕量指令微調所打造。這項關鍵創新將所有視覺任務的輸出統一為 RGB 影像，使得能夠在不使用任務特定架構或損失函數的情況下，透過影像生成來完成分割、深度估計與表面法向預測。

在語意分割方面，Vision Banana 在 Cityscapes 上相較專用模型 SAM 3 領先 4.7 個百分點；在指代表達式分割（referring expression segmentation）方面，它超越了 SAM 3 Agent。不過在實例分割（instance segmentation）上，它落後於 SAM 3。對於 3D 任務，度量深度估計在四個標準資料集上達到 0.929 的平均準確率，超過 Depth Anything V3 的 0.918。推論時僅使用合成資料，沒有任何真實深度資訊或相機參數。表面法向估計在三個室內基準測試中取得了最先進的結果。

微調涉及將極少量的視覺任務資料混入原始影像生成訓練，同時保留模型的生成能力——在生成品質測試中的表現與原始 Nano Banana Pro 相同。論文提出：視覺中的影像生成預訓練與語言中的文字生成預訓練相類似；模型在生成過程中學習用於影像理解的內部表徵，而指令微調只是釋放這種能力。