AI在智慧型手機的應用

三星旗下C-Lab也於CES 2020展示隔空打字新技術SelfieType。圖/載自官網

露得清於2020年初發布新版Neutrogena Skin360,藉由AI演算法,達到不需外掛硬體即可檢測黑眼圈皺紋細紋光滑度黑斑等。圖/載自官網

鏡頭較前代增加ToF或紅外線鏡頭的手機LG G8 ThinQ手勢操作名爲「Air Motion」,藉由前置相機的ToF鏡頭來辨識臉部、手勢,以啓動功能。圖/載自官網

智慧型手機已是產品成熟期,手機廠商在硬體規格的競爭也越趨激烈,使得軟體應用成爲差異化的新途徑,廠商除了將觸角延伸至IoT外,若能開發自家獨特的AI應用,也有助於加強消費者黏着度。如蘋果近來強調轉型軟體與生態系廠商,Google也持續開發更多AI應用服務,並優先搭載於自家Pixel手機。

2019年全球智慧型手機生產數量呈現年衰退,主要是因爲手機滲透率達到飽和、產品進入成熟期,雖仍有曲面熒幕、多鏡頭相機與熒幕下指紋辨識等創新,但沒有明顯提升消費者體驗,無法有效帶動大規模換機潮。

爲此,蘋果積極轉型爲軟體與生態系廠商,持續擴展「生態系服務」,除了既有的iTunes Store、App Store、Apple Pay、Apple Music、iCloud、Apple News+(新聞訂閱),也跨足TV+(串流影音)、Apple Arcade(遊戲訂閱)與Apple Card(信用卡)等服務。

在手機應用服務明顯發力的還有Google,2019年12月9日宣佈推出全新策略「Feature Drop」,將藉由AI優化應用服務,以持續提升新舊款Pixel手機用戶的體驗,像是自動過濾騷擾電話照片視訊通話背景虛化等,這些更新不侷限於最新款Pixel手機,而是視硬體規格開放給不同機型使用。

觀察現有手機廠商進展,歸納出以下幾項目前較爲主流的AI手機應用:

趨勢一、圖像辨識更強

隨着AI演算法提升,相機功能變得更爲強大,衍生出更多臉部辨識應用,使得圖像辨識在目前AI手機應用中最爲廣泛。

1、健康管理

嬌生旗下保養品牌露得清於2020年初發布新版Neutrogena Skin360,藉由AI演算法達到不需外掛硬體即可檢測黑眼圈、皺紋、細紋、光滑度與黑斑等,除了膚質檢測外,也藉由與實時天氣數據結合,提供8周個性化相關護膚方案,並提供嬌生旗下相關保養品建議,建構整個膚質管理生態圈

目前搭載IC設計公司海思麒麟990機型的華爲Mate 30、華爲榮耀V30,則推出芯心相容App,透過手機鏡頭捕捉心臟收縮和舒張引起的面部吸收光照差異的微弱信號,並利用AI估算出人體的心率和呼吸率等數據。

2.、視訊強化與拍照

Google推出「語義圖像分割」技術,將語義標籤(如道路、天空、人與狗等)分配給輸入圖像的每個畫素,更精確定位物體輪廓,並開源其語義圖像分割模型DeepLab-v3+。

隨着語義圖像分割發展持續進步,Google也推出舊照片和視訊通話皆可背景虛化的功能,以做出景深效果,讓視訊通話時人像更清晰。此外,華爲榮耀V30手機已實裝AI視頻全景替換功能,在視訊通話時可隨時替換背景。手機晶片大廠高通也於Snapdragon Summit 2019年展示視訊通話時將頭像卡通化的功能,增添個人特色。

在拍照功能上,手機用相機晶片大廠索尼主打實時人眼對焦,即時眼部偵測自動對焦功能,已拓展到動物世界,可自動偵測並追蹤動物雙眼,人眼追焦功能目前已在vivo X30 Pro上實裝,預期有機會獲得更多手機品牌採用。

3、隔空操作

2019年陸續有3支智慧型手機以隔空手勢操作爲主要賣點:LG G8 ThinQ手勢操作名爲「Air Motion」,藉由前置相機的ToF鏡頭來辨識臉部、手勢,例如想要截圖,可透過在熒幕前做出五指併攏和抓取動作,若在手機熒幕前左右揮舞,可呼叫音樂和簡訊等功能,若要調節音量則用手作出旋鈕動作。

華爲Mate 30 Pro同樣以前鏡頭搭載ToF鏡頭,操作時只要在前鏡頭前方張開手掌,接着做出捏合姿勢就可熒幕截圖,上下揮動手掌就能滑動頁面。

此外,三星旗下C-Lab也於CES 2020展示隔空打字新技術SelfieType,不同於前幾年的雷射鍵盤需另外搭載投影紅外線的硬體,三星僅透過手機前置鏡頭和AI追蹤用戶雙手,即可在桌面上出現隱形鍵盤。

4、智慧防偷窺

華爲Mate 30 Pro推出防偷窺功能,藉由前鏡頭支援3D人臉辨識,可保護使用者隱私,當前鏡頭辨識到其他人出現在偵測範圍內,熒幕的訊息和行事曆等將自動上鎖。

趨勢二、語音字幕與翻譯

語音辨識和自然語言處理的AI應用,主要爲即時語音轉字幕與即時翻譯,隨着手機運算功能加強,可即時在終端裝置完成,不需將資訊先傳到雲端再回傳終端裝置。

語音轉字幕與翻譯雖然實務上早就能做到,但過往受限於手機處理器運算能力不足,需先回傳雲端處理後再傳給終端裝置,例如Google雲端硬碟早已提供語音轉字幕功能,但需先登入、播放音檔,讓Google雲端處理再傳送回用戶端,不僅需使用網路流量,且容易造成隱私困擾。

不過,Google Pixel 4已率先實裝Live Caption功能(目前僅支援英文語音轉英文字幕),強調實時語音轉字幕不需要連上網。即時翻譯方面,高通在Snapdragon Summit 2019中已展示如何只透過手機,不需經過雲端回傳即可完成即時翻譯(離線亦能即時翻譯)。

趨勢三、自動過濾騷擾電話

Google Pixel 4以Google Assistant的語音辨識功能自動過濾騷擾電話,過程中不需使用任何網路流量,但會計入電話費(此功能目前只支援英文,限美加地區使用),若是未知來電,Google Assistant可以在電話響起前就自動阻擋,若是一般電話,則透過Google Assistant接聽並詢問來電者身分和來電原因,只要判定是語音自動電話或騷擾電話,就會掛斷,若判定不是,就會響鈴並顯示來電者的回覆。

此功能也會根據手機的聯絡人決定是否過濾來電,若不想過濾特定號碼,就要將號碼儲存爲聯絡人,手機還可根據Google騷擾電話資料庫中的號碼偵測語音自動電話和騷擾電話,因此在初次設定時仍需網路連線,設定完畢纔可關閉連線。

總結來看,近期市場出現越來越多前鏡頭結合AI的應用,尤以提供手勢或臉部辨識爲主的機型都需搭配ToF或雷達,以提供更好辨識能力。

不過,AI運用最主要還是仰賴處理器的運算能力,隨着AI引擎持續改善,可以改善原本需回傳雲端處理再傳回終端裝置的狀況,終端裝置於離線時即可提供許多AI運用,不僅降低延遲也減少頻寬需求,使App在應用上更方便,更不須使用網路或依賴雲資源,進而提高安全性。(本文作者爲拓墣產業研究院研究員蕭閔中)