Google I/O發表的Live Caption功能，能為手機上的影音即時上字幕、轉錄為文字。廖家葆攝[
今年Google I/O開發者大會發表的Live Caption功能，開啟後能為手機上所有影片、音訊等內容即時上字幕，提供實時連續語音轉錄，造福聽力障礙人士。但Android無障礙產品經理Brian Kemler表示：「Live Caption功能將於今年稍晚在特定、高階的Android Q手機上推出，它需要較大的記憶體與內存去運行，起初會是限定機種，不過最終我們還是會在所有手機上推出。」
Google執行長皮采(Sundar Pichai)指出：「我們相信科技可以更加廣泛地被使用，而AI人工智慧提供的新工具將改善障礙人士經驗。」其實不是障礙人士也能使用Live Caption，例如當你在大眾運輸上無法將影片播放出聲音時、或不了解影片中的外國語言，就十分受用。
Live Caption功能應用範圍包括：歌曲、音訊、podcast等，至於來電、視訊電話是否加入則未明朗，無論是內建App或是第三方App，只要手機能播放，Live Caption就能為它上字幕，這也包含了手機遊戲，不過Kemler還未在Google的雲端遊戲串流服務Stadia上測試過。而要使用此功能，只要按下手機音量鍵並點擊Live Caption的圖示即可，完全不用透過任何App，或網路。
擁有語音辨識能力的Live Caption，強大的地方在於將超過100GB的雲端訓練模型容量，壓縮到可存放在手機的1GB以內，也因此它的準確率不會到完美的程度，但卻能達到近乎無延遲的轉錄，每分鐘有400小時內容上傳的YouTube，都不見得能自動生成字幕了，Live Caption卻可以在用戶手機上完成。雖然Google沒有針對Live Caption設定錯誤率，很明顯地可以放心地在Android Q上使用。
Google在今年2月推出的Live Transcribe(即時轉錄)App，同樣使用機器學習(Google Cloud Speech AI)的演算法將聲音轉為文字，能支援多達70種語言與方言，讓它成為一項非常好用的工具，相對地，Live Caption則是內建於作業系統裡，使用的是AudioPlaybackCaptureConfiguration這個API，其轉錄的字幕不會留下任何紀錄。
Kemler強調Google不會透過字幕存取用戶播放的內容，讓所有內容都留在手機上(on device)，這個全新的語音轉錄API將有特殊的系統權限，提取音頻的同時遵照隱私守則。雖然Live Caption聽起來極其方便，但它在推出之時僅支援英語，其他語言還是得再等等。
Live Caption提供的是語音轉文字，若是要它同時進行翻譯，現階段是不可能的事，Kemler表示：「翻譯不在我們計畫的功能裡，看起來雖然是個簡單的功能，但需要完全不同的UI(使用者介面)與渠道。目前將著重在改善Live Caption的核心體驗、並試著推出更多支援的語言。」他接著分享，將16 kHz的低音音頻拿到語音辨識模型上測試，除了增加延遲外，也對裝置電力造成影響。
由此看來，支援Live Caption的裝置很少會成為問題，如果大多數人不能使用它，Live Caption將無法達到實用狀態，因此在改進模型、增加支援語言外，Google也需要盡快推出對硬體的支援。
|
|
