隨著 4K 修復(fù)技術(shù)普及，每過一段時間，人們就能重溫高清版的「回憶」。

2019 年北京國際電影節(jié)，4K 修復(fù)版《2001 太空漫游》開票，5 秒售罄；2020 年，《哈利波特與魔法石》4K 版上映，4 日票房突破了 1 億元。

大銀幕上的光影僅是回憶的一部分。葫蘆娃、黑貓警長、哪吒、大頭兒子和小頭爸爸、舒克和貝塔……這些形象已定格成表情包和網(wǎng)絡(luò)梗。

不久后，這些童年回憶，也同樣會以 4K 高清的模樣，重新出現(xiàn)在你的手機(jī)屏幕上。

這是西瓜視頻在 4K 修復(fù)上的「大動作」，背后的技術(shù)承擔(dān)方是字節(jié)跳動面向企業(yè)的技術(shù)服務(wù)平臺：火山引擎。

簡單理解，經(jīng)過了多年 to C 服務(wù)的積累，火山引擎要把字節(jié)跳動最好的技術(shù)開放出去，服務(wù)企業(yè)的數(shù)字化升級。

視頻技術(shù)是字節(jié)跳動多年來積累的重要內(nèi)容。「經(jīng)典中視頻 4K 修復(fù)計劃」，是西瓜視頻與火山引擎共同發(fā)布的公益計劃。

這個計劃將在一年內(nèi)用技術(shù)手段，4K 修復(fù)百余部經(jīng)典中視頻。

修復(fù)后，人們可以免費(fèi)在西瓜視頻 App 上觀看這些動畫片。目前，已經(jīng)有《葫蘆兄弟》、《黑貓警長》、《大頭兒子小頭爸爸》等 6 部修復(fù)過的動畫上線。

首批合作伙伴有央視動漫和上海美術(shù)電影制片廠。

名單內(nèi)的動畫除了葫蘆娃、舒克和貝塔這樣 80、90 后的童年回憶公約數(shù)，還有中國動畫史中值得反復(fù)凝視的經(jīng)典：中國第一部水墨畫風(fēng)動畫片《小蝌蚪找媽媽》（1960），帶有敦煌畫風(fēng)的《九色鹿》（1981），小眾的木偶動畫片《鏡花緣》（1991）……

字節(jié)跳動多年技術(shù)沉淀如何發(fā)揮最大的效用？

火山引擎或許可以給出一種答案：一邊將技術(shù)服務(wù)企業(yè)實現(xiàn)商業(yè)價值，一邊服務(wù)公益計劃實現(xiàn)社會價值。

4K 修復(fù)經(jīng)典動畫片更有一層「醉翁之意」，讓原先「潤物細(xì)無聲」的中臺技術(shù)獲得展示。

4K修復(fù)技術(shù)秀「肌肉」

人們口中常說的 4K 解析度，是指顯示屏幕達(dá)到 4096×3112 的像素級別。它的分辨率是 2K 的四倍。2003 年，加拿大一家公司推出首個商業(yè)用途的電影攝像機(jī)，從此 4K 逐漸普及。

老動畫片受限于制作年代，清晰度早已不適應(yīng)人們的觀看習(xí)慣。

幾十年前的老動畫片，像《小蝌蚪找媽媽》、《九色鹿》還是用膠片進(jìn)行拍攝。將年代久遠(yuǎn)的膠片修復(fù)到 4K 的清晰度，其中的難度可想而知。

從膠片的物理修復(fù)做起，先要對原始膠片上的污垢、劃痕、掉色等部分進(jìn)行修復(fù)，再將膠片轉(zhuǎn)錄為磁帶，才能進(jìn)行數(shù)字修復(fù)。

數(shù)字修復(fù)的過程中，增加清晰度、補(bǔ)上缺失幀數(shù)等技術(shù)之外，還需要匹配原片的藝術(shù)風(fēng)格，以保持「修舊如舊」的效果。這樣才不僅實現(xiàn)了「修」，還做到了「復(fù)」

動畫片《布谷鳥》修復(fù)效果對比

面對這樣的勞動密集型工作，火山引擎提供的 AI 功能可以幫助修復(fù)師減輕不少勞力，甚至能夠比傳統(tǒng)的修復(fù)方式更有優(yōu)勢。

火山引擎品牌在今年 6 月份正式發(fā)布，4K 修復(fù)用到的技術(shù)都屬于視頻云產(chǎn)品。

作為中臺技術(shù)，比起前端的推薦算法、定制內(nèi)容，視頻云一般都隱藏在后方，支持內(nèi)容傳輸和播放，鮮少為人感知。

借由「經(jīng)典中視頻 4K 修復(fù)計劃」中的具體環(huán)節(jié)，人們可以一瞥這些技術(shù)讓視覺體驗升華的能力。

影片常見的信息損耗就是噪點(diǎn)和劃痕，其來源方式也各不相同。

一方面，膠片存放過程中會有物理損耗，這會帶來噪點(diǎn)；一方面，轉(zhuǎn)錄到磁帶過程中也可能增加新噪點(diǎn)和劃痕。

對于這些瑕疵，火山引擎結(jié)合了傳統(tǒng)信號處理和機(jī)器學(xué)習(xí)算法，讓修復(fù)更為高效。

老膠片的第一道工序是物理修復(fù)。即使經(jīng)過物理修復(fù)，膠片上的劃痕依然會對畫面有損傷。傳統(tǒng)人工修復(fù)能夠保證質(zhì)量，但是成本極高，速度也很慢。

火山方案采用算法+人工兩道工序。算法能夠?qū)?95% 的瑕疵進(jìn)行修改，對藝術(shù)效果或者視頻內(nèi)容的困難部分，則通過人工來進(jìn)行判斷。

分辨率升到 4K 之后，原有的畫質(zhì)一定會信息量不夠。比如細(xì)節(jié)不足，幀數(shù)偏少而不夠流暢，暗景畫面模糊。

火山引擎的「智能超分」和「智能插幀」功能在提升畫面質(zhì)感上可以發(fā)揮所長。

人工修復(fù)中，如果遇到油污、劃痕、變形等問題，修復(fù)師可能一天只能修 24 幀，也就是一秒。

如果是夜戲、煙霧戲等模糊的畫面，畫面信息本身不足，修復(fù)困難極大。用深度學(xué)習(xí)，能夠根據(jù)已有圖像建模，做到「修舊如舊」。

像《葫蘆兄弟》，人物近景是剪紙風(fēng)格，遠(yuǎn)景是水墨筆觸。算法可以智能分辨不同的風(fēng)格來進(jìn)行處理，提升前景的清晰度的同時，又能保留遠(yuǎn)景的朦朧感。

應(yīng)用端打磨技術(shù)

「智能超分」、「智能插幀」屬于標(biāo)準(zhǔn)化功能，已封裝成可調(diào)用的產(chǎn)品，向企業(yè)客戶開放。

除此之外，西瓜視頻也提供了內(nèi)測，個人賬號可以在「視頻剪輯」菜單中點(diǎn)擊體驗。

修復(fù)中也會遇到新問題。比如，在老影片掃描轉(zhuǎn)數(shù)字化的過程中，由于采樣算法欠佳，導(dǎo)致畫面中的線條出現(xiàn)鋸齒。

由于這個問題是數(shù)字化掃描階段帶來的，常見算法和修復(fù)工具不能很好地處理，火山引擎就針對這種場景單獨(dú)設(shè)計了算法。

這種處理問題的能力，與火山引擎對抖音、西瓜視頻進(jìn)行技術(shù)支持的歷練有關(guān)。

在視頻云產(chǎn)品負(fù)責(zé)人 Keith 看來，視頻技術(shù)中臺的最大優(yōu)勢，就是與生俱來的視頻播放經(jīng)驗。簡單說，就是「同一套人馬做 to B 和 to C」。這讓技術(shù)團(tuán)隊對 C 端的需求更敏感。

經(jīng)過疫情催化，音視頻企業(yè)級服務(wù)的市場更加成熟。

企業(yè)級服務(wù)商中，除了騰訊、阿里云這樣的老牌互聯(lián)網(wǎng)大廠之外，聲網(wǎng)這樣專注音視頻實時互動的技術(shù)商得到更多關(guān)注。

在此背景下，火山引擎在 C 端的歷練，成為了獨(dú)特的服務(wù)能力。

比如，在打磨播放體驗時，團(tuán)隊意識到播放第一幀「滑順感」的重要性，于是率先開發(fā)了「零首幀」技術(shù)。

首幀即是視頻播放的第一幀。當(dāng)你被一個視頻封面吸引，點(diǎn)擊播放到首幀渲染出來的耗時小于 200ms 時，基本就沒有延時和卡頓感。

視頻云團(tuán)隊在這個指標(biāo)上的追求是小于 100ms。

人類無感的 100ms 的背后，技術(shù)程序上需要完成「頁面創(chuàng)建」、「網(wǎng)絡(luò)連接」、「視頻解碼」、「播放器策略建立」四個環(huán)節(jié)。

技術(shù)團(tuán)隊針對每一個環(huán)節(jié)都做了技術(shù)優(yōu)化，才實現(xiàn)了播放體驗上的「零首幀」。

這項技術(shù)已經(jīng)運(yùn)用在客戶服務(wù)上。

火山引擎與足球社區(qū) App「懂球帝」共同建立了視頻云解決方案，幫助「懂球帝」解決了播放中首屏卡頓的問題。球迷在瀏覽 App 中的視頻時，首幀時間降低 30% 以上。

音視頻技術(shù)能夠縮短時空距離，因此，遠(yuǎn)程會議、在線課堂、電商直播是更具潛力的應(yīng)用領(lǐng)域。

在 2020 年疫情尚未消退期間，財新傳媒年度峰會在北京線下舉辦。

這是一次多時空串聯(lián)的任務(wù)，4 天議程中有 50 多場直播，其中既涉及海內(nèi)外嘉賓連線，又涉及峰會全程的線上直播。

火山引擎技術(shù)團(tuán)隊做到了高清視頻連線，全程無卡頓。這背后的技術(shù)，是實時通訊技術(shù)（RTC Real-times comunication)。

各種趨勢表明，RTC 將會成為下一代互聯(lián)網(wǎng)通信標(biāo)準(zhǔn)的基礎(chǔ)和模式。

未來的視頻：流量少，更清晰

如今語音和視頻功能，已經(jīng)基本滿足日常實時通訊，但是未來各種場景下的時空串聯(lián)，對技術(shù)提出更高要求。

同步與清晰度的提升帶來更大的帶寬，與之匹配的下一代的編碼壓縮技術(shù)也被需要。

視頻編碼的最主要目的是數(shù)據(jù)壓縮，讓存儲和傳輸更便捷。目前，新一代國際視頻編解碼標(biāo)準(zhǔn)（H.266/VVC）已正式公布。

標(biāo)準(zhǔn)貢獻(xiàn)者排行榜上，字節(jié)跳動排名第三。排行榜前五的企業(yè)中，字節(jié)跳動是唯一一家沒有參與上一代標(biāo)準(zhǔn)開發(fā)的公司。

這份成績來源于「火山引擎多媒體實驗室」，這個團(tuán)隊至今已經(jīng)研發(fā)了基于 H.266 的編碼器 2.0 版本——BVC2.0。

使用這個編碼器，同樣質(zhì)量的視頻內(nèi)容，可以節(jié)約 8%-15% 的帶寬和存儲成本。

這意味著，同樣網(wǎng)速和帶寬的條件下，在手機(jī)上能用更少的流量享受更清晰的視頻。未來的云游戲、VR 應(yīng)用如果想成為現(xiàn)實，也需要依靠新編碼技術(shù)

自研 H.266 的歷史

除了參與標(biāo)準(zhǔn)制定、開發(fā)編碼器，火山引擎還站在全鏈路傳播的角度來思考技術(shù)。

比如，在抖音 App 上，生產(chǎn)端和播放端可以按照不同的需求處理。

為了照顧投稿率，生產(chǎn)端需要降低碼率；為了照顧觀看體驗，播放端需要提升碼率。為了實現(xiàn)全局的最優(yōu)解，各個環(huán)節(jié)的不同策略配合，需要更豐富的方案。

應(yīng)用場景是視頻技術(shù)的催化劑。MR、VR 已經(jīng)想象了豐富的場景，但這尚是遠(yuǎn)景。

從眼下直播、連線、點(diǎn)播的不同需求開始，技術(shù)也會在實戰(zhàn)中反復(fù)被打磨，走到創(chuàng)新的場景中去。（來源于：極客公園）

特別提醒：本網(wǎng)信息來自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實，對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系我們，本站將會在24小時內(nèi)處理完畢。