回到頂部
手機相機擷取手部、臉部與上半身節點並即時轉為文字的無障礙功能示意圖

Google 手語轉文字上 Pixel 11:台灣手語能用嗎?

Google SL2T 讓 Pixel 11 用 Gboard 將 ASL 即時轉英文,但目前不支援台灣手語。整理裝置、語言、隱私、錯誤與實際使用限制。

內容查核: 來源查核:

Google DeepMind 推出手語轉文字模型 SL2T,並讓 Pixel 11 在 Gboard 與 Live Transcribe 直接把手語轉成文字。對台灣讀者最重要的答案先說:目前只能把美國手語 ASL 轉成英文,不能辨識台灣手語,也不能直接輸出繁體中文。

Google 表示模型用超過 10 萬小時、50 多種手語資料共同訓練,但首發產品只開放 ASL-to-English。訓練資料的語言數量是模型研發資訊,不是支援清單;「additional languages will follow」也沒有提供台灣手語時程。

Pixel 11 手語轉文字怎麼用?

目前使用條件包括 Pixel 11、最新版 Gboard,以及 en-USen-CA 鍵盤語言。使用者授予相機權限後,可在任何接受 Gboard 輸入的 App 開啟 Sign-to-text,用正面鏡頭拍到臉、雙手和上半身,英文翻譯會直接出現在輸入框。

這代表可用手語搜尋網頁、寫訊息、做筆記或輸入 Gemini 提示;Live Transcribe 則適合面對面交談時,讓 ASL 使用者用手語回覆。Pixel 11 的其他 AI 功能與台灣售價,可另看Pixel 11 台灣購買判斷

不過它不是「手機看懂任何手勢」。手語有自己的文法、詞彙、臉部表情與空間結構,不是把口語逐字換成手勢。Google 的範例也承認,模型仍會把 fingerspelling 的 prey 認成 grey,漏掉爪子等細節,或把過去式翻成現在式。

為什麼台灣手語不能直接用?

台灣手語是台灣聽、語障人士使用的自然語言,歷史上受日本手語影響並在台灣發展;美國手語則有不同的語法、詞彙與文化脈絡。文化部也把台灣手語列為國家語言,而不是華語或英文的手勢版本。

因此,ASL 模型不能靠切換輸出語言就變成台灣手語辨識器。要支援台灣手語,還需要社群參與、足夠且有權利基礎的語料、標註與測試,也要處理地區、年齡、慣用手與表達差異。Google 的跨語言訓練可能有助低資源語言,但正式可用仍需單獨驗證。

我不建議為了這項功能在台灣立刻購買 Pixel 11,除非使用者本來就以 ASL 與英文溝通。對台灣手語使用者而言,現階段較合理的期待是觀察支援路線與社群測試,而不是把「50 多種」當成已能使用。

影像會不會傳到雲端?

SL2T 不是完全在手機端翻譯。MediaPipe Holistic 先在裝置上把畫面轉為臉、手與身體的二維關鍵點,送到伺服器的是幾何座標,翻譯在 Google 伺服器完成。Google 說原始影片會立即丟棄,座標、影片與翻譯不儲存、不分享,也不用於訓練。

這比直接上傳完整影片降低了臉部與背景外洩面,但關鍵點仍描述人的動作。使用者還是要授予 Gboard 相機權限,且服務需要伺服器處理;對醫療、法律或高度敏感對話,應先確認組織規範,也要保留人工手語翻譯或其他溝通方式。

實際試用要檢查四件事

第一,讓畫面完整包含臉、手和上半身,逆光、遮擋或鏡頭太近都可能讓語意掉失。第二,故意測人名、地名、數字與 fingerspelling,這些比日常句型更容易錯。第三,檢查否定、時態與空間關係,不只看英文句子是否流暢。第四,發送前人工修改,避免流暢文字掩蓋原意遺失。

SL2T 的突破在於把手語輸入放進一般鍵盤,而不只留在研究展示。更完整的Android AI 權限與隱私說明仍適用:能用只是第一步,真正的無障礙價值要看語言覆蓋、錯誤揭露與受影響社群能否持續參與。

常見問題

Pixel 11 可以辨識台灣手語嗎?

目前不行。Google 首發支援的是美國手語 ASL 轉英文,官方尚未公布台灣手語或繁體中文的上線日期。

為什麼訓練 50 多種手語,卻只能用 ASL?

多語訓練可讓模型學到跨語言的視覺與結構訊號,但每種手語仍有自己的語法、詞彙與使用社群。產品上線還需要個別品質、偏差、隱私與可用性測試。

Sign-to-text 可以離線使用嗎?

不是完全離線。手機端先把影片轉成身體關鍵點,再將座標傳到 Google 伺服器翻譯;官方表示原始影片、座標與翻譯不會被保存。

翻譯結果可以直接用在醫療或法律場合嗎?

不建議把它當唯一溝通管道。模型可能漏掉時態、手指拼字與重要細節,高風險場合仍需合格手語翻譯、人工確認或其他可追溯方式。

參考來源

№ · further reading

延伸閱讀