在2021 GFIC 5G全球家庭互聯(lián)網(wǎng)大會(huì)的5G+4K/8K超高清論壇上，上海云視科技股份有限公司產(chǎn)品部副總經(jīng)理?徐小麗發(fā)表題為《面向超高清的視頻修復(fù)與增強(qiáng)》的精彩演講。

 

 

視頻修復(fù)與增強(qiáng)的背景

?

發(fā)展趨勢(shì)——超高清

 

8K由于其差異化、高端化成為視頻顯示領(lǐng)域產(chǎn)業(yè)升級(jí)的下一個(gè)重要戰(zhàn)略方向點(diǎn)。8K分辨率的像素總量是4K的4倍。8K使畫面細(xì)節(jié)纖毫畢現(xiàn)，呈現(xiàn)更多的顏色層次，帶來(lái)極致的畫質(zhì)體驗(yàn)。

 

8K技術(shù)的普及是未來(lái)幾年顯示視頻技術(shù)的發(fā)展的目標(biāo)。隨著網(wǎng)絡(luò)寬帶傳輸技術(shù)、圖像處理技術(shù)和硬件制造技術(shù)的共同迅猛發(fā)展和提升，視頻媒體內(nèi)容的生產(chǎn)和呈現(xiàn)方式發(fā)生新的變革。采、編、播、傳輸、顯示各環(huán)節(jié)的技術(shù)，基本具備8K條件。

 

2021年2月1日，中央廣播電視總臺(tái)8K超高清電視頻道試驗(yàn)開播、央視春晚8K電視直播，將加速8K超高清的落地普及。

 

海量珍貴歷史視頻亟需修復(fù)增強(qiáng)

 

現(xiàn)存大量的現(xiàn)有的低分辨率的珍貴視頻，例如：中央新聞紀(jì)錄電影制片廠保存60萬(wàn)分鐘極其珍貴的歷史影像資料，包括歷代黨和國(guó)家領(lǐng)導(dǎo)人的影像資料、涉及黨和國(guó)家重大決策事件的影像資料、各歷史時(shí)期重大事件的真實(shí)記錄......

 

中央廣播電視總臺(tái)音像資料館保存200萬(wàn)小時(shí)標(biāo)/高清電視節(jié)目和素材，包括87版紅樓夢(mèng)、86版西游記等央視版經(jīng)典四大名著，抗戰(zhàn)、長(zhǎng)征各類題材經(jīng)典電視劇，新聞、晚會(huì)、賽事、直播、專題片、紀(jì)錄片等......

 

此類影像資料或多或少存在畫質(zhì)問(wèn)題，在超高清設(shè)備上顯示時(shí)，畫面問(wèn)題會(huì)被放大，嚴(yán)重的影響觀看體驗(yàn)，因此，有必要對(duì)它們進(jìn)行修復(fù)與增強(qiáng)，讓它們以更好的效果呈現(xiàn)。人工智能技術(shù)是很好的選擇。

 

運(yùn)用人工智能技術(shù)，支撐珍貴歷史資料的修復(fù)與增強(qiáng)

 

《開國(guó)大典》于1989年拍攝，獻(xiàn)禮建國(guó)40周年。2019年進(jìn)行4K修復(fù)，獻(xiàn)禮建國(guó)70周年：1082個(gè)鏡頭，24萬(wàn)幀畫面，6%資料片，修復(fù)團(tuán)隊(duì)超過(guò)600人，每天修復(fù)20小時(shí)，耗時(shí)4個(gè)月。人工智能算法的應(yīng)用，可以更高效的對(duì)老舊影片進(jìn)行批量修復(fù)增強(qiáng)。

 

超高清標(biāo)準(zhǔn)

 

超高清的標(biāo)準(zhǔn)涉及多個(gè)方面，首先是分辨率，至少需達(dá)到4K，盡量達(dá)到8K，其他的指標(biāo)幀率、色深、色域、動(dòng)態(tài)范圍、音頻都有比較高的要求。理想情況下，老舊影片修復(fù)增強(qiáng)后是需要達(dá)到超高清標(biāo)準(zhǔn)的，但是老舊影片中包含的信息太少了，因此修復(fù)增強(qiáng)的工作存在很大的挑戰(zhàn)。

 

修復(fù)增強(qiáng)技術(shù)

 

難點(diǎn)與挑戰(zhàn)

 

老舊影片由于拍攝年代久遠(yuǎn)、設(shè)備落后、播放保存損傷等原因，導(dǎo)致畫面主觀視覺(jué)質(zhì)量差：畫面模糊不清晰，顏色暗淡，大量噪聲；運(yùn)動(dòng)拖尾不流暢，對(duì)比度層次感差；噪點(diǎn)、斑塊、劃痕、污跡等畫面損傷。

 

人工智能修復(fù)增強(qiáng)技術(shù)

 

智能修復(fù)，讓畫面變干凈：建立目標(biāo)檢測(cè)網(wǎng)絡(luò)，采用深度神經(jīng)網(wǎng)絡(luò)對(duì)斑塊進(jìn)行檢測(cè)和定位；基于運(yùn)動(dòng)補(bǔ)償原理，采用時(shí)域去除法，將當(dāng)前斑塊所在幀的前后幀對(duì)應(yīng)位置圖像作為參考，補(bǔ)充當(dāng)前斑塊遮擋的區(qū)域；利用空域修復(fù)法，將無(wú)法檢測(cè)到的細(xì)小瑕疵，用空間補(bǔ)差的方式進(jìn)行消除，并保證時(shí)域圖像的連續(xù)性。

 

超分辨率，讓圖像更清晰，通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行特征自動(dòng)學(xué)習(xí)、非線性映射和上變換重建，把低分辨圖像放大成高分辨率，提升畫面清晰度和細(xì)節(jié)信息。

 

視頻插幀，讓動(dòng)態(tài)更流暢：基于光流的運(yùn)動(dòng)估計(jì)補(bǔ)償插幀技術(shù)，結(jié)合對(duì)角線補(bǔ)償、清晰度增強(qiáng)，實(shí)現(xiàn)2倍或4倍的幀率放大，并消除消除運(yùn)動(dòng)抖動(dòng)/拖尾、。

 

畫質(zhì)增強(qiáng)，讓畫面更好看：從銳度/清晰度、飽和度/對(duì)比度、降噪、灰度級(jí)變換（8bit→10bit）、亮度動(dòng)態(tài)范圍（SDR→HDR）、色域提升（8bit BT.709→10/12bit BT.2020）等方面提升畫面整體質(zhì)量。

 

徐小麗最后總結(jié)到，修復(fù)增強(qiáng)技術(shù)的應(yīng)用，讓歷史影像有機(jī)會(huì)以更好的質(zhì)量呈現(xiàn)。過(guò)程涉及的人工智能算法，可以快速提升8K超高清視頻節(jié)目的產(chǎn)能，加快8K普及的步伐。為用戶呈現(xiàn)更高分辨率、更有吸引力的視頻內(nèi)容，豐富用戶的視聽體驗(yàn)。

面向真實(shí)世界應(yīng)用，仍存在一些挑戰(zhàn)。修復(fù)增強(qiáng)后的老舊影片即使視頻參數(shù)符合超高清標(biāo)準(zhǔn)，但是相對(duì)于真實(shí)拍攝的4K/8K影片，畫面質(zhì)量存在明顯的差距。