Microsoft Foundry Model Router 適合一個端點同時處理簡單分類與複雜推理的產品，不適合模型必須固定、輸出需完全可重現或資料只能送到單一供應商的工作。 它會分析完整請求，再依 Balanced、Cost 或 Quality 模式，從允許的模型池選擇底層模型。
8 月更新把 GPT-5.6 家族與 Claude Opus 4.8 納入更新後的模型池，也移除部分進入生命週期尾聲的模型。應用程式端點可維持不變，底層池卻會更新；這項特性比新增的模型名稱更值得注意，也讓模型子集、日誌與回歸評測成為必要控制。
Model Router 怎麼選模型
Microsoft 的運作說明把流程拆成三步：先讀 system message、user message、工具定義與對話歷史，判斷任務類型和難度；再依 routing mode 與可用模型估算選擇；最後把請求送到底層模型並回傳結果。
| 模式 | 選擇傾向 | 適合先測 | 不建議直接用 |
|---|---|---|---|
| Balanced | 在小幅品質差內找較省成本的模型 | 一般助理、混合問答與多類任務 | 高風險任務全部共用同一池 |
| Cost | 接受較大品質差，積極選便宜模型 | 分類、路由、格式整理、簡單 Q&A | 法務、醫療、資安與不可逆動作 |
| Quality | 優先選預估品質最高的模型 | 複雜研究、長推理與高價值回覆 | 高流量但低價值的重複任務 |
概念文件說明，Balanced 會在接近最高品質的小範圍內選較省成本者，Cost 接受較大的品質帶，Quality 則忽略成本選最高預估品質。這些是路由策略，不是你的任務保證；繁中客服、公司程式碼與領域文件仍要自行測。
模型子集比模式名稱更重要
模型子集可限制 Router 只能從已核准供應商、context 長度與能力範圍中選擇。若公司不能把資料送到某家 provider，不能只選 Balanced 再相信系統會避開；應直接把該模型排除，並用 Azure Policy 控制可部署的 publisher。
有效 context window 也受池中最小模型限制。長文件任務若需要固定上下文長度，要提高模型池下限。Microsoft 也建議至少保留兩個模型，單一模型子集既失去路由優化，也無法使用自動 failover。
Claude 模型是另一個例外。Model Router 操作文件指出，多數支援模型不必個別部署，但 Claude 要先部署到同一 Foundry resource，才能被 Router 選到。部署政策也要允許 Microsoft 與實際底層模型的 publisher。
上線前怎麼評測
不要拿公開榜單決定。Microsoft 建議以目前固定模型作 baseline，從真實工作負載抽至少 100 個提示，比較品質、成本與延遲；少於 30 個只能看方向。品質可做成對調回答順序的 pairwise judge，避免位置偏差；延遲看 p50、p90、p95，不只看平均。
成本要把 Router input markup、底層模型輸入與輸出 Token 一起算，並按任務類別拆開。分類省很多，不代表長文推理也省。若團隊還沒有可重跑的 prompt 集合與採用門檻，先做 AI API 成本與評測基線，不要先把正式流量交給動態路由。
監控時一定要留下底層模型
回應中的 model 欄位是最重要的可觀測訊號。日誌至少記錄任務類別、實際模型、輸入輸出 Token、延遲、錯誤、重試、人工採用與失敗原因。Azure Monitor 可依 deployment 篩選並按底層模型拆分，Cost Analysis 則可依 deployment tag 看支出。
8 月 21 日更新也說明，支援模型池可透過穩定端點更新。這降低換模型的整合成本，也增加結果漂移風險。每次池更新後都要重跑代表任務，尤其是 JSON schema、工具呼叫、拒答與長上下文。
我要下的判斷是：Router 是選模層，不是品質保證層。已經跨供應商的團隊可對照 OpenRouter 成本路由指南；管理面則把支出連回採用率與業務結果，可接著看 AI Tokenomics。
常見問題
Microsoft Foundry Model Router 會儲存提示嗎？
Microsoft 的概念文件表示 Router 本身不儲存提示，並會遵守可用部署與 data zone 邊界。整體應用程式、底層模型、日誌與 Agent 記憶仍可能有各自資料處理規則，要分開檢查。
Balanced、Cost、Quality 應該選哪一個？
多數混合任務先從 Balanced 開始，觀察實際模型分布。高量低風險工作可另建 Cost deployment；複雜研究與高價值推理可用 Quality，不要讓全公司只共用一個模式。
Model Router 一定比固定模型便宜嗎？
不一定。節省幅度取決於簡單任務比例、輸入輸出長度、底層模型選擇與 Router 費用。要用自己的提示逐類比較，不能拿供應商平均值直接套在產品帳單。
可以限制 Model Router 不使用特定供應商嗎？
可以用 model subset 限制候選池，並搭配 Azure Policy 控制 publisher 與部署。合規要求應寫成明確子集，不要只靠路由模式猜測系統會選哪家。
參考來源
- Microsoft Foundry Blog：Model router updates: new regions, a refreshed model pool, and understanding the hill climb（2026-08-21）
- Microsoft Learn：Model router for Microsoft Foundry concepts（2026-06，2026-08-24 查核）
- Microsoft Learn：How model router works in Microsoft Foundry（2026-04-27）
- Microsoft Learn：How to use model router for Microsoft Foundry（2026-06，2026-08-24 查核）
- Microsoft Learn：Use model router with Foundry agents（2026-06，2026-08-24 查核）