神了！AI“復活”張國榮，22年前超清視頻今晚8點上線！
4月1日，在張國榮辭世19周年的紀念日上，騰訊音樂娛樂集團攜手環球音樂旗下廠牌寶麗金，聯合騰訊雲等共同上線“張國榮2000年《熱·情》演唱會超清修復版”。通過騰訊雲多媒體實驗室的智慧影像修復技術，22年前的影像既保證了“修舊如舊”的藝術效果，又以更清晰的方式呈現在觀眾面前。
《熱·情》演唱會是張國榮生前的經典絕唱，由其親自擔任藝術總監，知名時尚設計師Jean Paul Gaultier負責服裝設計。整場演唱會無論從藝術構思、還是劇情式曲目編排、亦或是“天使到魔鬼”的系列造型，皆為彼時首創。但時隔22年，當時的視頻在清晰度等方面都需要進一步提升，才能適應時下觀眾的觀賞需求。
從騰訊提供的一份視頻修復前後的畫面對比來看，修復後的畫面有很大提升，張國榮的眼睛等五官，髮絲、鬍子，甚至毛孔都更加清晰。“整體畫面主觀的感受，就是更清晰、更真”，騰訊雲多媒體實驗室總監李松南說，母帶的解析度大概只有720×480，修復以後接近4K，提升了約6倍，在幀率上有所優化，畫面的流暢度也有所提升。
在這次修復中採用騰訊雲多媒體實驗室的“超清沉浸感修復引擎”，這是面向老片修復場景的技術解決方案。主要包括智慧分析、畫質修復、畫質增強和智慧編碼四大模組。以畫質修復為例，利用多種人工智慧修復演算法，針對老片中常見的分隔號、雪花點、雜訊、壓縮失真、抖動等問題進行修復。尤其是其中的“人臉修復”，基於自研的人臉修復模型，利用人臉檢測、人臉修復和融合模組，將圖像修復遷移到視頻過程中加入幀間穩定性處理，解決人臉檢測穩定性，優化多角度人臉效果，解決視頻中動態人臉遇到的複雜場景問題。
談到修復過程中的技術難點，李松南稱，一是時間跨度大，帶來劃痕、噪點等問題；二是資料難以獲得，要解決如何利用少量對比資料，提升演算法的學習效果；三是現場環境多變，整體環境較暗，細節不夠豐富，場景切換快，燈光環境複雜，顏色豐富，對演算法帶來一定的挑戰；四是面對清晰度較為欠缺部分，無法精確建模，需要嘗試不同的演算法去達到最佳的修復效果。
這是該實驗室首次參與演唱會視頻修復。從3月初拿到母帶，到修復完成，前後花了約一個月時間。騰訊雲多媒體實驗室專家研究員夏珍說，團隊嘗試了不同方法，以期達到“修舊如舊”的效果。夏珍指，演唱會的燈光、色彩等與電影、電視劇區別很大，團隊用了修復和增強的手段處理不同場景。他舉例說，整個演唱會的燈光設計為紅色，打到張國榮臉上的時候，臉部顏色與平常不同，會專門針對這些問題去做優化。此外，演唱會裡的鏡頭切換很多，這是此前較少遇到的。
據介紹，“超清沉浸感修復引擎”該引擎在技術、演算法和應用上均有創新性，尤其每個演算法都由該實驗室自研，其中的劃痕修復和超解析度，在放大視頻解析度時，明顯提升細節清晰度。
李松南稱，目前老片修復分物理修復和數位修復兩種，前者更多是去除膠片雜質，包括對變形進行修復，騰訊此次更多做的是利用數位技術進行自動化的修復。他稱，智慧影像修復在廣電或傳媒行業是有很大的市場，如老視頻要適配到4K或者8K的電視上，需要進行修復才能有更好的呈現。“現在終端設備升級換代很多，如VR等沉浸式終端不斷出現 ，現在大家覺得品質不錯的視頻，幾年之後要適配新的終端也需要更新換代，老片修復這個技術趨勢會一直有用武之地”，他說，隨著技術反覆運算，過幾年我們再來修復《熱·情》，做出來的效果會更好。
據介紹，騰訊雲多媒體實驗室專注於多媒體資料傳輸與壓縮、智慧融合媒體、互動沉浸式媒體領域的技術研究與產品化。自2018年參與H.266/VVC標準制定以來，實驗室已有超過500項提案被多個國際標準採納，數量全球領先。在此之前，該實驗室完成了騰訊視頻《康熙王朝》《天下人家》等影視劇修復，並與東方衛視一起完成了“新中國成立影像”的修復工作。