生成式推薦正在改變大型 RecSys，但不會立刻取代所有向量檢索。 NVIDIA 8 月 20 日整理生成式推薦的訓練與部署堆疊，核心做法是把使用者行為序列視為「下一個項目」預測，讓模型直接產生或排序候選；這和用 LLM 自然語言列商品是不同工作。
傳統推薦常分成候選召回、特徵工程與排序，依使用者和商品 embedding 的距離找相似項目。生成式推薦則嘗試從點擊、停留、購買與時間順序中學習下一步機率。它可能整合召回與排序，也帶來自回歸解碼、長 context、巨大 embedding table 與嚴格延遲的新問題。
HSTU 與 Semantic ID 不要混為一談
HSTU 論文把每位使用者的項目與動作依時間交錯成序列，用為推薦場景改造的注意力結構學習。它適合有大量、持續變動行為資料的平台，重點是從長歷程擷取規律，並減少對人工交叉特徵的依賴。
TIGER 的 Semantic ID 研究則先把商品內容轉成階層式離散代碼，再像產生 Token 一樣預測下一個代碼。這能讓語意相近的長尾商品共享部分表示，也避開直接對龐大商品全集做 full softmax；但代碼品質、版本變更與無效組合都要另外治理。
| 路徑 | 主要輸入 | 解決重點 | 新風險 |
|---|---|---|---|
| Two-tower／向量召回 | 使用者與商品特徵 | 快速大規模候選搜尋 | 細緻序列訊號有限 |
| HSTU | 長時間行為與動作序列 | 歷程建模與 scaling | 訓練、cache、長序列成本 |
| Semantic ID | 商品語意代碼與歷程 | 長尾共享、直接產生候選 | 代碼漂移、受限解碼 |
此處的「生成式」是一組推薦後端建模方法，與聊天介面無關。若需求只是讓使用者用文字找產品，embedding 基礎加關鍵字與重排往往更直接；只有持續 next-item 預測、龐大商品目錄與高頻行為資料，才接近這套架構的主場。
真正困難在資料與 serving
NVIDIA 的 recsys-examples提供 HSTU、Semantic ID、動態 embedding、KV cache 與 GPU 核心範例。官方文章的效能數字來自 NVIDIA GPU 與特定 workload，應視為實作參考，不是跨雲、跨硬體基準。
推薦系統的 context 很長，實際輸出卻可能只有少數 item token；Semantic ID 還可能使用很大的 beam width。一般為聊天最佳化的 LLM server 擅長動態批次與長輸出，不一定適合共享長歷程、短解碼和受限商品空間。這也是 NVIDIA 另做專用 cache layout 與 decoding path 的原因。
Embedding table 也可能大到放不進單張 GPU。nv-embedding-cache以 GPU、CPU 與遠端儲存形成階層 cache。這類架構的成本涵蓋模型參數、熱門 key、淘汰策略、資料新鮮度與失效處理；後四項往往更影響線上穩定。
先證明增量，再談全面遷移
評估時保留現有推薦當基準，固定候選庫與時間切分，比較離線 NDCG、Recall、長尾覆蓋、冷啟動與延遲；上線則看真實點擊、轉換、多樣性、退貨或負回饋。不能只用隨機切分，否則同一使用者與相近商品可能同時落在訓練、測試，讓結果過度樂觀。
先選一個高價值版位做 shadow test，保留 fallback，並記錄每次推薦使用的資料版本與模型版本。像推論組態建議工具只能協助部署層選型，不能替你回答推薦是否真的增加商業價值。
我不建議中小型電商因為新名詞就從零打造 HSTU。互動資料不足時，模型更容易追隨熱門商品；商品 metadata 不完整，Semantic ID 也不會憑空修好冷啟動。先把事件追蹤、時間切分、baseline 與線上實驗做完整，現有 two-tower 加重排卡住後，再評估生成式架構。
常見問題
生成式推薦就是用 ChatGPT 推薦商品嗎？
不是。本文所指的是用序列模型預測下一個 item 或 Semantic ID，通常運作在推薦後端；自然語言介面只是另一層應用。
HSTU 和 Semantic ID 哪個比較好？
兩者不是完全互斥的替代品。HSTU 偏重長行為序列建模，Semantic ID 偏重如何表示並生成龐大商品集合，應依資料與 serving 瓶頸選擇。
小型電商適合做生成式推薦嗎？
多數情況先不適合。若互動稀疏、事件追蹤不完整或缺少穩定 A/B test，先改善資料、規則與傳統推薦，通常比重建大型序列模型划算。
參考來源
- NVIDIA Technical Blog：How Generative Recommenders Are Redefining RecSys at Scale（2026-08-20）
- arXiv：Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations（2024-02-27）
- arXiv：Recommender Systems with Generative Retrieval（2023-05-08）
- GitHub NVIDIA：recsys-examples（2026-08-24 查核）
- GitHub NVIDIA：nv-embedding-cache（2026-08-24 查核）