Gemini 3 Flash 的全新“Agentic Vision”提高了圖像響應
Agentic Vision 是 Gemini 3 Flash 模型的一項新功能,“通過基於視覺證據的答案”使圖像相關任務更加準確。
像 Gemini 這樣的前沿人工智能模型通常會通過單一的、靜態的一瞥來處理世界。如果他們錯過了一個小細節——比如微芯片上的序列號或遠處的街道標誌——他們就被迫找出答案。
這種新方法通過將視覺推理與代碼執行和其他未來工具相結合,“將視覺視為積極的研究”。
為了回答圖像問題,Gemini 3 Flash 將製定“放大、檢查和操作圖像的分步計劃”。具體來說,Agentic Vision 使用“思考、行動、觀察循環”。
- 思考:模型分析用戶的查詢和初始圖像,制定多步驟計劃。
- 開始使用:模型生成並執行 Python 代碼來主動操作(例如裁剪、旋轉、註釋)或分析(例如運行計算、計算邊界框等)圖像。
- 觀察:轉換後的圖像被添加到模型上下文窗口中。這使得模型能夠在生成最終答案之前檢查具有更好上下文的新數據。
Gemini 3 Flash 不是描述給定的圖像,而是“直接執行代碼以在畫布上進行繪製,以作為其推理的基礎”。 Gemini 應用程序中此圖像註釋的一個示例是要求您“用一隻手數數字”。
為了避免計數錯誤,它使用 Python 在它識別的每個手指上繪製邊界框和數字標籤。這個“視覺草稿本”確保其最終答案是基於對像素的完美理解。
同時,Gemini 3 Flash 在檢測到圖像中的特定細節時會進行放大。 Agentic Vision 可以“解析高密度表格並運行 Python 代碼以可視化結果”。
標準法學碩士經常在多步視覺算術中產生幻覺。 Gemini 3 Flash 通過將計算卸載到確定性的 Python 環境來避免這種情況……這用可驗證的執行取代了概率猜測。
Agentic Vision 聲稱 Gemini 3 Flash 的“質量提升了 5-10%,在大多數視覺基準測試中都是一致的”。
這已開始通過 Thinking 模型推廣到 Gemini 應用程序。對於開發人員來說,現在可以通過 Google AI Studio 和 Vertex AI 中的 Gemini API 來使用它。
未來,Gemini 3 Flash 將在旋轉圖像或進行視覺數學方面做得更好,“無需明確的啟動提示”。如今,Agentic Vision 將隱式決定何時進行縮放。
除了代碼執行之外,未來的工具還將允許 Gemini 使用網絡和反向圖像搜索來“進一步加深對世界的理解”。 Agentic Vision 也將適用於其他 Gemini 型號。
FTC:我們使用附屬鏈接來賺取收入。 更多的