AI用于電商直播業務中的人臉技術原理

電商直播中的人臉技術應用,主要在手機上運行。直播中所涉及的底層技術(人臉檢測、特征點定位和跟蹤)大部分都需要在手機上實時運行,由此需要遵循新要求:速度要足夠快,模型要足夠小,同時保證有足夠高的準確度,這是需要折中的過程。

直播中的人臉技術總體架構

目前所采用的解決方案大部分是通過算法優化和模型優化的工程手段,將算法移植到手機端。

在實際業務中實現了人臉特征點跟蹤的SDK,并部署在移動端,應用在電商直播場景中。基于深度學習的人臉技術雖然取得了顯著的成果,但是深度學習對大量計算資源的需求,以及復雜的模型(幾十MB到幾百MB),難以應用在移動端。

傳統算法雖然效果沒有超過深度學習,但是資源消耗很小,模型也簡單,在應用過程中更加適合于用到目前的移動設備上來。不過,隨著處理器技術發展和深度學習優化技術的逐漸成熟,基于深度學習的人臉技術會更加普及。

PP云在AI短視頻領域的探索

PP云早在2016年就探索到AI技術與電商結合的業務場景,為保障平臺運營和用戶體驗帶來新的價值。一方面,通過人臉識別方法自動識別商品圖像中的人物,提升了后臺圖像管理的效率;另一方面,電商直播中應用人臉技術,實現了美膚和特效等功能,改善了用戶體驗。

深度學習方法為人臉識別技術領域帶來了巨大的飛躍,而傳統方法能夠保證足夠的性能和足夠的準確度,達到實時運行的目標。因此,在開發過程中,需要根據具體需求來進行方案的權衡和選擇。圖像算法技術的開發,需要在日常工作過程中積累基礎模塊,逐步拓展其運用場景,并且根據業務場景變化,進行不斷的迭代,為業務需求提供保障。

PP云高級技術架構師高超今年接受媒體采訪時表示,2018年PP云會重點關注超高清窄帶視頻、強化學習、無監督學習、GAN、小樣本學習、多模態融合、區塊鏈等技術,并將其應用在短視頻生產、看點提取、用戶交互、搜索推薦、版權管理、智能營銷等應用場景。將把AI技術重點應用于蘇寧易購短視頻電子商務領域,實現線上線下銷售轉化目的,深度研究和開發AI在智慧零售的作用。

AI未來在PP視頻云中的技術應用

眾所周知,AI智能水平從淺入深有“感知、理解、決策”等多個層級,目前在感知方面如語音識別、人臉識別、大數據分析,搜索等方面相對成熟,而視頻理解和決策方面有待發展。

視頻理解是AI視頻應用的基礎,具體技術包括圖像識別、行為識別、語義分析等諸多方面,更加綜合,也更加復雜。AI現在對視頻的理解與人類還有一定差距,需要讓機器在視頻大數據訓練中更多的使用弱監督學習,強化學習和迭代學習。

同時,創作、分發和營銷環節的AI決策技術也有待加強,未來我們不僅需要AI輔助人類創作視頻,還希望AI能有助于內容采購、內容分發和營銷服務,強化學習、GAN等技術還有待進一步研發。

目前,不管是PP視頻還是國內外的其他視頻網站,其實都在嘗試用技術手段、AI能力去解決這些重要問題。AI技術已經在視頻的整個創作、生產、分發、播放、變現流程中開始發揮作用,在一些分支中已經取得了非常令人矚目的突破,催生很多落地的AI應用,在提高運營效率、提升用戶體驗、提升商業化能力等方面發揮了重要作用。