把商品照片和規格表一起交給 AI，請它找出不一致之處；上傳會議錄音與白板照片，要求整理成待辦事項；針對一段教學影片詢問某個步驟出現在哪個時間點。這些都是多模態 AI 的典型任務。
多模態（multimodal）指系統能處理並建立不同資訊形式之間的關係。文字、圖片、聲音、影片、深度、觸覺或其他感測訊號都可以是一種模態。能上傳多種檔案只是入口，實用品質取決於模型能否把它們正確對齊並共同推理。理解這個差別，能幫你判斷 AI 是真的找到素材中的證據，還是只寫出一段合理猜測，也能在選工具時避開只比較型號與展示效果的陷阱。
多模態 AI 和一般文字 AI 差在哪裡？
文字模型主要接收與產生 Token 序列。多模態系統還需要把像素、音訊波形或影片片段轉成可計算的表示，再和文字建立關聯。多模態機器學習的經典綜述把表示、翻譯、對齊、融合與共同學習列為核心挑戰。
例如「請指出照片中價格牌和旁邊商品的關係」，系統要先找出文字區域與商品位置，再理解「旁邊」的空間關係，最後用文字回答。任何一步出錯，都可能產生一段文法正確卻看錯畫面的回覆。
多模態 AI 是 深度學習與 生成式 AI的重要應用，但三個詞不是同義詞。影像分類器也可以是深度模型，卻只處理圖片；多模態系統也可以只輸出分類結果，不一定生成長文。
多模態模型怎麼把不同資料放在一起？
實際產品架構不同，可以用三個階段理解：
1. 編碼：把各種輸入轉成數值表示
文字會被切成 Token；圖片可分成區塊或視覺特徵；音訊可轉成聲學特徵；影片則包含影格、聲音與時間資訊。不同編碼器可能各自處理一種資料，也可能由同一個模型處理多種輸入。
2. 對齊與融合：建立跨模態關係
訓練資料中的圖片與說明文字、語音與逐字稿、影片與字幕，提供跨模態對應訊號。模型學習哪些視覺區域、聲音片段與文字概念較相關，再於任務中融合資訊。
對齊不等於真正驗證。圖片標題錯誤、字幕時間偏移或資料中常見的刻板關聯，也可能被模型學進去。
3. 輸出：分類、定位、回答或生成
系統可以輸出文字回答、物件位置、分類結果、語音，或新生成的圖片與影片。大型產品常由多個模型和工具組成，未必是一個模型完成所有步驟。
理解、生成與即時互動要分開看
| 類型 | 輸入與目標 | 驗收重點 |
|---|---|---|
| 多模態理解 | 讀取既有圖片、音訊、文件或影片 | 是否看對、聽對、找到正確位置 |
| 多模態生成 | 用文字、圖片或聲音產生新素材 | 指令遵循、一致性、品質與權利 |
| 即時互動 | 串流接收聲音或影像並持續回應 | 延遲、打斷、噪音、連線與安全 |
「能分析影片」和「能生成影片」是不同能力。前者要從既有影片擷取事件、對話與時間資訊；後者要合成新的畫面和聲音。需要產生素材時可看 AI 影片生成指南，配音則看 AI 語音工具指南。
同一品牌旗下也可能由不同模型負責理解、圖片生成、影片生成與即時語音。方案、地區、檔案上限及 API 支援會改變，應以當下官方產品頁為準。
圖片理解適合做什麼？
- 描述與問答：辨識場景、物件與可見關係。
- OCR 與文件整理：讀取收據、表格、投影片或手寫筆記。
- 圖表分析：擷取座標、圖例與趨勢，再搭配原始數據驗算。
- 物件定位：輸出框選位置或分割區域，供後續程式處理。
- 畫面比較：找出兩張截圖、設計稿或產品照片的差異。
小字、低解析度、旋轉、遮擋、密集表格與相似物件都容易出錯。Google 的圖片理解文件也提醒使用清晰、方向正確的圖片，解析度設定會影響細節、Token、延遲與成本。
與其只問「這張圖在說什麼」，可以改成：
先逐字抄出圖表標題、X 軸、Y 軸與圖例；再列出三個可直接從圖中讀到的趨勢。看不清楚的數字標為「無法辨識」，不要猜測。
若是財務或研究圖表，最好提供原始表格。截圖中的像素不應成為唯一數據來源。
音訊與語音任務怎麼驗收？
音訊處理可能包含語音辨識、說話者分離、翻譯、情緒或事件分類，以及語音生成。常見問題包括背景噪音、重疊說話、口音、專有名詞與數字聽錯。
會議整理不要只看流暢摘要。應要求系統輸出：逐字稿時間戳、每項決議的原句位置、負責人與期限；不確定的說話者要標註待確認。重要同意、報價或法律內容仍需回聽原音。
聲音複製涉及人格、同意與詐騙風險。沒有本人授權時，不應上傳聲音建立相似聲線或生成看似本人說過的內容。
影片理解為什麼特別容易漏資訊？
影片同時包含影格、動作、字幕、語音、背景音與時間順序。系統可能抽取部分影格或壓縮媒體表示，而非逐像素、逐影格完整觀看。
Google 的影片理解文件公開說明其處理會取樣影格；快速動作或短暫出現的細節可能被漏掉。不同模型與設定的取樣方式會變，不能把某個產品的技術數字套到所有工具。
分析影片時可這樣降低錯誤：
- 指定要分析的時間區段，不要一次問過大的範圍。
- 要求每個結論附
MM:SS時間戳與可觀察證據。 - 對快速畫面提高取樣或另外提供關鍵影格。
- 把字幕或逐字稿一起提供，並要求標示視覺與語音是否一致。
- 隨機抽查數個時間點，確認模型沒有虛構事件。
文件、圖表與多張圖片的實用提示詞
一個可驗收的多模態提示詞要說清楚四件事：素材角色、任務範圍、證據位置與輸出格式。
附件 A 是產品包裝照片，附件 B 是核准規格表。
只比較容量、成分、保存方式與警語。
每個差異請列出：欄位、A 的可見內容、B 的頁碼與原文、風險等級。
看不清楚或資料未提供時寫「待確認」，不要自行補值。這比「幫我比較兩份資料」更容易檢查。若素材很多，先讓模型建立檔案清單與頁碼，再開始分析，可以降低引用錯檔的機率。
多模態 AI 常見的六種失敗
看見不存在的細節
模型可能描述畫面中沒有的文字、人物或物件。這是視覺版的 AI 幻覺，尤其容易發生在模糊區域與使用者帶有暗示的問題。
OCR 正確，推論卻錯
模型可能抄對數字，卻把欄、列、單位或時間順序配錯。要求先轉錄、再計算，並分開驗收兩個步驟。
跨模態衝突時選錯來源
投影片寫 A、講者口頭說 B，模型可能默默挑一個。提示詞應指定衝突時並列兩者，不要自行裁決。
影片取樣漏掉瞬間事件
只出現一瞬間的畫面、快速手勢與細微狀態變化可能沒被取到。安全、運動或製程檢查不能只靠通用聊天模型摘要。
素材中的提示注入
文件、圖片或網頁可以藏有「忽略先前指令」等惡意文字。把外部素材當成不可信資料，工具權限與系統指令不能由附件內容覆寫。
隱私與中繼資料外洩
圖片可能含人臉、身分證、地址、螢幕通知與 GPS 中繼資料；錄音與影片也會記下旁人資訊。上傳前先裁切、打碼、移除中繼資料，並確認服務的保存與訓練政策。可使用 AI 隱私檢查表。
怎麼比較多模態工具？
不要用廠商展示影片互相比星等。建立 10 至 20 個自己的案例，涵蓋正常與最難情境：
- 清楚圖片與低光、旋轉、小字版本。
- 乾淨錄音與噪音、多人重疊版本。
- 慢速教學與快速切換畫面的影片。
- 文字和畫面一致，以及刻意矛盾的案例。
- 含個資或惡意指令的安全測試素材。
逐項記錄正確率、漏答、虛構、處理時間、每次成本、檔案限制與資料政策。能力會隨模型版本改變，保留測試集就能在換模型時重跑，而不是從排行榜猜測。
常見問題
多模態 AI 是什麼？
多模態 AI 能處理並建立兩種以上資訊形式的關係，例如文字搭配圖片、語音搭配逐字稿，或影片的畫面與聲音。能上傳檔案只是入口，真正能力要看模型能否正確對齊與使用資訊。
多模態 AI 和生成式 AI 一樣嗎？
不一樣。多模態描述輸入或輸出涵蓋多種資料形式；生成式 AI 描述系統會產生新內容。一個模型可以同時是多模態和生成式，也可以只做多模態分類或檢索。
AI 看圖時真的會逐像素看完整張圖嗎？
不能一概而論。產品可能縮放、切塊、壓縮或依解析度配置不同 Token。小字與密集細節容易遺失，重要內容應裁切放大、提供原始文字，並要求模型指出證據位置。
上傳一小時影片，AI 會完整看完嗎？
模型能接受長影片不代表每個瞬間都以原始解析度處理。系統可能取樣影格、壓縮聲音或受上下文限制。快速事件要提供關鍵片段，並以時間戳抽查答案。
哪個多模態模型最好？
沒有脫離任務的單一答案。圖片小字、長影片、即時語音、文件表格和 API 自動化需要不同能力。用自己的固定測試集比較品質、延遲、成本、檔案限制與隱私政策，比看綜合排名可靠。
資料來源
- Baltrušaitis、Ahuja、Morency：Multimodal Machine Learning: A Survey and Taxonomy
- Liang、Zadeh、Morency：Foundations and Trends in Multimodal Machine Learning
- Google AI for Developers：Image understanding
- Google AI for Developers：Video understanding
- OpenAI API：Images and vision
- Anthropic：Vision
- NIST：生成式 AI 風險管理框架