上周末,華為終端舉辦了一場拍照體驗活動,我們有機會與華為研發(fā)工程師直接交流,談到了許多Mate10系列手機拍照背后故事。
在會后整理發(fā)言資料會發(fā)現(xiàn),華為所講的手機拍照這件事,已經(jīng)不僅僅是光圈快門,我原以為與拍照技術(shù)有關(guān)的內(nèi)容并沒有出現(xiàn)太多,反倒是AI成了關(guān)鍵詞,因為麒麟970的到來,手機有了自己調(diào)整拍照參數(shù)的機會。我們更多談?wù)摰,是AI(人工智能)在拍照這件看似簡單小事上做了什么。
AI介入拍照
在新品Mate 10系列上,AI是一種直白的表達。華為將看似難以理解的人工智能用到了所有人都會用的拍照功能上面:麒麟970給手機帶來了識圖功能,在鏡頭前出現(xiàn)美食、貓、狗等不同物件的時候,屏幕上會出現(xiàn)相圖表,表示自己看懂了用戶正在拍什么,之后默默調(diào)整細節(jié)參數(shù)。
這個動作將過于概念化的人工智能帶進了用戶對手機拍照(而不是相機拍照)的實際期待中:拿出手機,按下快門,出一張讓自己足夠滿意的照片并分享出去。你看不到拍照參數(shù)的調(diào)整(也不用看),這一切就這樣默默發(fā)生。
根據(jù)華為研發(fā)工程師的描述,當他們最初確定手機訴求的時候,是從“用戶的痛點與硬件的發(fā)展”兩個維度考慮的。前者來自華為終端和市場調(diào)研公司的合作,這也是大公司確定研發(fā)需求前尋找用戶訴求的主要方式——最終,最多的關(guān)注點落在了抓拍之類的實處。
Mate 10樣片
翻回到2015年,新浪數(shù)碼的編輯評測手機的時候還將拍照部分的描述寫作“攝像頭”而不是“鏡頭”,這兩詞的差別也是我們表達兩種功能類似但性能完全處于不同級別的區(qū)分,F(xiàn)在,很多確實可以稱之為手機鏡頭了,甚至可以提升到攝影的層面。
但即便如此,依然不是所有用戶都能拍出足夠好的照片。
當硬件發(fā)展到一定水準,可依然沒法滿足用戶需求之后,華為的研發(fā)工程師們希望用自動化的方式解決這對矛盾。
其中關(guān)鍵是麒麟970的到來
9月IFA柏林國際消費電子展上,華為終端掌門人余承東手里捏著一顆硬幣大小的芯片,宣布麒麟970芯片誕生,它是世界首款帶有專用人工智能元素的手機芯片;10月,它被裝載到了Mate 10和Mate 10 Pro兩款手機上,人工智能就這樣跟手機拍照有了交集。
“有了NPU的助力,AI能夠幫用戶把場景識別好,一鍵拍出不錯的照片”,Mate 10的研發(fā)工程師這樣說。
NPU是麒麟 970芯片最特別的部分,全稱Neural-network Processing Unit,也就是神經(jīng)網(wǎng)絡(luò)處理單元,專門為AI相關(guān)計算定制的處理器。
麒麟970芯片發(fā)布
對傳統(tǒng)芯片來說,CPU核心處理器和GPU圖形處理也可以用作深度學(xué)習(xí),但它們原本并非為深度學(xué)習(xí)定制,效率并不算高。麒麟970的NPU為深度學(xué)習(xí)而定制,根據(jù)一些公開資料,它的FP16浮點運算性能達到了1.92TFLOP,相比麒麟 960(0.6 TFLOP 左右)提升3倍多。
這是上文提到的“硬件的發(fā)展”的一部分,另外一部分則是拍照模塊與鏡頭的改進。
Mate 10鏡頭邊的標簽是”Summilux-H“,H意為華為,這家中國廠商用這種方式低調(diào)的給自己的德國相機老廠徠卡做了注解。雙方合作方式,“黑白+彩色”的雙鏡頭的也跟其他廠商的“長焦+廣角”方案不相同。這既向徠卡M Monochrome的致敬,也是為提高解析力做的工程方向考慮。舍棄了拜爾濾鏡之后,黑白能帶來兩倍多的進光量,帶來更高的感光度和更低的噪點;但僅有它不夠,另一顆彩色鏡頭是對現(xiàn)有拍照習(xí)慣的補充,人們喜歡絢麗的彩色照片,它的作用是彌補黑白攝像頭的不足,把色彩找回來。
兩者合一,再加上相關(guān)算法,才可組成Mate 10的拍照系統(tǒng)。
華為并沒有給AI賦予過多復(fù)雜概念,在全球發(fā)布會上,最明顯的體驗是拍照這件人們習(xí)以為常的“小事”。
若做個簡單比喻,以前的手機拍照是手動檔汽車,無論馬力多大,碰上不會換擋的用戶也是白搭;華為做的是讓手動檔變成自動檔,讓更多人不再有使用壓力。
這一切都并非一蹴而就,技術(shù)不是等來的。根據(jù)相關(guān)人士介紹,包括鏡頭、感光元件、ISP處理器等,華為從一年半以前就著手開始做準備。如果再往前推,2015年的Mate 8就加入華為自主研發(fā)ISP圖像信號處理,這是技術(shù)積累的實例。真是因此,華為才做出了世界第一款(目前也是唯一)的雙f/1.6光圈鏡頭,幾乎為0的白平衡誤差,以及相機評測機構(gòu)DxOMark的手機靜態(tài)拍照100分成績。
手機鏡頭的未來
“我們的目標是對標單反。相比單反,高倍數(shù)的變焦,極暗光條件下的拍攝,虛化問題,這些從目前來看手機都面臨很大挑戰(zhàn),所以不論硬件還是算法,手機都有很大的發(fā)展空間。”當我們問到手機拍照是否摸到天花板的時候,工程師們給出了這段答案。
DxO的拍照得分
當然,他們談到的手機拍照未來不僅僅是一張好照片,還在朝著更廣的空間拓展。他們更愿意將未來的手機鏡頭作為一個傳感器,一張漂亮照片只是最表層的用法。
Mate 10全球發(fā)布會上演示的隨行翻譯是其中一例,手機用鏡頭看到片外文,翻譯成英文,并且神經(jīng)網(wǎng)絡(luò)能讓機器在學(xué)習(xí)中不斷完善答案。這一切背后依舊是AI的支持,通過鏡頭看到更多世界、通過用戶手機使用習(xí)慣感知學(xué)習(xí)并適時會給出合理優(yōu)化。
那是個更廣闊的世界,也是在手機行業(yè)走過了大屏?xí)r代和跑分時代之后,繼續(xù)向前的新推動力。