Google Pixel 3 旗艦雙機、與 Pixel 3a 中階雙機,主相機全都搭載1220萬畫素單鏡頭。圖左至右為:Pixel 3a、3a XL、Pixel 3、Pixel 3 XL。(圖/記者劉惠琴攝)
因應智慧型手機相機配置,硬體朝「鏡頭數量越多」的發展趨勢,意味著,為手機拍照應用性帶來了更大的光圈、更具優勢的拍攝條件、更佳的影像畫素。然而,除此之外,藏在手機相機鏡頭下的軟體創新技術,也是影響成像品質優劣的一大重要關鍵性。
以 Google 推出的旗艦系列 :5.5吋 Pixel 3、6.3吋 Pixel 3 XL 雙機,以及近期最新上市中階系列的5.6吋 Pixel 3a、與 6吋 3a XL 雙機;上述四款 Pixel 機種的主相機,全都搭載相同規格配置,包括:單顆1220萬畫素鏡頭、光圈F1.8、採用 Dual Pixel 雙畫素相位對焦技術、具備自動對焦技術、與 OIS 光學防手震。 Google Pixel 3 旗艦雙機,於去年10月首度登台開賣。6吋劉海全螢幕的Pixel 3 XL 前自拍為雙鏡頭;5.5吋Pixel 3 前自拍為800萬畫素單鏡頭。(圖/記者劉惠琴攝)
在前置自拍相機的部份,Pixel 3、Pixel 3a 與 Pixel 3a XL 三款機種,則是搭載單顆 800 萬畫素定焦鏡頭光圈為 F2.0。(補充說明:僅有 Pixel 3 XL 機款的前自拍相機為: 800 萬畫素「廣角 F2.2+望遠 F1.8」雙鏡頭)
不論是使用 Pixel 3 旗艦雙機、或 P3a 中階雙機,這四款Pixel手機在夜拍、人像景深、低光源、高解析變焦等拍攝場景下,僅需透過單顆鏡頭主相機,也能發揮出優異影像畫質的高水準,其最大的關鍵因素就是,Google 採用了導入機器學習技術的創新方式,運用以圖像計算攝影與連拍的革新技術,加上藉由機器學習過程中、不斷獲取到的巨量數據資料,提供作為 AI 模型參考與圖像運算的依據與基礎,並能持續優化影像的成像品質。 Google 傑出工程師 Marc Levoy 來台與媒體分享Pixel 手機相機技術。他同時也是史丹佛大學電腦科學榮譽退休教授(該職由VMware創辦人所支持)。(圖/記者劉惠琴攝)
為什麼 Pixel 3手機相機技術的軟體實力,會如此強大?Google 台灣總部於5/23 特別邀請自家傑出工程師 Marc Levoy,來台分享 Google Pixel手機相機的四大技術;他同時也是目前帶領 Pixel 智慧型手機專案團隊的靈魂人物,負責開發的項目包括:夜視功能、HDR+高動態範圍成像模式、與肖像模式。以及Jump光場相機與Halide圖像處理程式語言等。
特別一提的是,Pixel 3 手機的強大夜拍、人像景深、低光源拍攝與高解析度數位變焦等拍攝功能,令人驚艷與出色的影像畫質表現,獲知名相機評測機構 DxOMark 給予高度肯定的評價,堪稱是目前史上「最強大的 Android 單鏡頭手機」。到底Google的相機技術有何不同於其它手機的獨到厲害之處?以下透過7張圖與四大重點整理,帶大家一窺Pixel 3 手機的相機技術秘辛。 Pixel 3 相機內建強大「夜視」模式。為呈現具真實感的影像色調,採用學習式AI技術。圖左為AI偵測辨識拍攝場景的白平衡;圖右為經過 AI 機器學習系統的白平衡、還原拍攝場景色調。(圖/Google 提供)
一、夜視模式(Night Sight) 開啟 Pixel 3 /3a 系列手機內建的「夜視」功能,按下快門後,觀景器會靜止不動數秒鐘,並高速捕捉最多15張畫面;與此同時,透過「移動測量」技術,會根據手持手機的震動程度、與畫面中是否有出現移動物件,作為判斷影像需拍攝的時間與張數。
手震程度越穩定、影像物件為靜止狀態時,則曝光時間會越長,高速拍攝的張數越多,因此獲得的影像成果也更清晰。
除了「移動測量」技術,相機系統還會結合 Pixel 3/3a 手機內建的「高解析度數位變焦」技術,進行多張影像的合成,提升照片細節的呈現、與照片的高畫素解析度。
針對夜晚場景所拍攝的影像色調部分,Marc Levoy 表示,Pixel 手機在捕捉到影像畫面後,經由 AI 學習技術,自動調整整體影像的白平衡,盡可能地還原拍攝場景當下的色調氛圍。
另外,值得一提的是,為了讓夜景拍攝出來的影像明暗與色調,能呈現出更接近於肉眼所見的自然色彩與真實感,Marc Levoy提到,在開發 Pixel手機「夜視模式」功能時,還參考了歐洲啟蒙時代的古典繪畫作品,並汲取古典畫作的3大技法精髓,包括有:強化對比度、陰影處投射成黑色、用黑暗環繞場景,以突顯出影像畫面中的主體。 Pixel 3 內建強大的「夜視」拍攝功能,為了呈現最接近自然真實的風格,開發技術基礎,汲取自啟蒙時代畫家作品的特色技法。(圖/Google 提供)
Pixel 3 夜景拍攝實測照
擁有從古典寫實畫作取經的背景基礎,並藉由 AI學習演算法的「色調映射」技術,進一步針對所取得夜景的影像畫面,進行「陰影處增強、亮處降低、並保留局部對比度」的優化。使得Pixel 3 手機,在僅有單顆鏡頭相機的條件下,透過結合強大的 AI 影像演算法,讓拍攝出來的夜景影像,相較於其它手機的夜拍效果,呈現出更具有自然真實感、與還原現場色彩的整體夜景氛圍,確實是 Pixel 3/3a 系列手機最令人驚艷的一大獨到之處。 使用Pixel 3手機的後置主相機,進行「人像」拍攝模式,則是透過相機硬體具備的「雙畫素」相位對焦技術,根據取景畫面預估主體位置與前後影像的遠近距離。(圖/Google 提供)
二、人像模式 景深模擬 使用 Pixel 3/3a 系列手機內建的「人像」拍攝模式時,以自拍來說,前置鏡頭相機雖然沒有內建「雙畫素」相位技術對焦功能,但仍可以透過AI機器學習影像演算法,執行人像拍攝模式、並能夠模擬出主體清楚、背景模糊的拍攝效果。
其運作原理的幕後推手,則是來自於「卷積神經網路」深度學習架構,具有高效率辨識圖像特徵、執行影像分類功能;利用超過100萬張標籤過的人物和配件照片進行機器學習模型訓練,並使用數學計算公式執行模擬景深效果,讓人物主體與背景物件的分割邊緣更加銳利,並根據人物與背景的距離,按比例呈現不同程度的模糊化;藉此讓影像畫面出現的人物主體能清楚地呈現,並且讓人物所在位置前後一段距離的影像,也保持銳利。 使用Pixel 3手機前置自拍鏡頭,啟用「人像」拍攝模式時,主要是透過機器學習技術訓練AI模型系統,預估影像出現的人物、並運用數學公式模擬出景深效果範圍。(圖/Google 提供)
另,在使用 Pixel 3/3a 的後製單顆主相機鏡頭,使用「人像」拍攝模式時,則是利用相機硬體內建的「雙畫素」相位技術對焦技術,讓感光元件上的每一個單一畫素,可以分成兩部分,並藉此技術辨識遠近距離、預估取景畫面所產生的深度範圍,讓拍攝出來的影像,不論是人像或是某一物體,能呈現具有立體感的淺景深效果。
Pixel 3 相機實測照
三、HDR+ 高動態範圍成像強化 當拍攝環境處於室內照明不佳、或室外光線較差的情況時,開啟 Pixel 3/3a 手機相機應用中的「HDR+」拍攝功能,透過捕捉在相同曝光程度的連拍影像,可避免影像畫面的亮處出現過度曝光、並保留亮部細節;接著,在進行影像校準與影像合成的步驟時,由於連拍多張影像的曝光值相同,因此更容易校準,同時,還可降低影像陰影處的雜訊。 在戶外光線較差、或室內光線不足時,開啟Google HDR+ 的拍攝功能,能保留影像亮部的細節,同時並減少暗部的雜訊。(圖/Google 提供)
最後,則是採用 AI 影像演算法的「色調映射」技術,藉此增強陰影處的暗部細節、降低亮部細節、並保留局部對比度,讓拍攝出來的畫面與色彩,呈現出清晰自然的生動效果。
四、高解析數位變焦
開啟 Pixel 3/3a 系列手機內建的「高解析數位變焦」功能,可將多張影像合成為一張具有高解析度的照片,拍攝出來的細節呈現效果,卻完全不輸給搭載有2倍光學望遠鏡頭的他牌手機。Google 表示,雖然「高解析數位變焦」功能,並沒有搭載AI人工智慧、及機器學習技術,但卻能夠在數位變焦的拍攝條件下,讓遠處的景物在經過放大拉近後,也能保有細節清晰的成像效果,關鍵重點在於運用「畫素位移」技術的原理。 高解析度數位變焦的技術原理。當相機同時連續拍攝4張畫面時,其中三張分別於水平位移、垂直位移、水平與垂直同時位移一個畫素。組合4張畫面後,可合成為一張高解析度的數位照片。(圖/Google 提供)
由於影像是由一個個畫素所組成,而每一個感光元件上的影像,擁有紅、綠、藍三種顏色資訊。使用 Pixel 3/3a 系列手機的「高解析數位變焦」功能時,透過連續拍攝四張照片,其中,有三張照片分別為:水平位移、垂直位移、以及水平垂直同時位移一個畫素;經由四張照片組合成為一張後,可讓原本單一影像畫面所缺失的顏色資訊獲得彌補,並讓數位照片中有三分之二的畫面,得以獲得顏色資訊的重建與填滿。 高解析度數位變焦的拍攝功能,該技術並無搭載AI與機器學習,而是採用「畫素位移」的運作原理。(圖/Google 提供)
|