5月8日，博主@大谷Spitzer在微博上傳了一段視頻，他用人工智能技術(shù)修復(fù)了100年前北京民國(guó)初年的影像。畫面中，城門大街上馬車和行人來(lái)來(lái)往往，院門前兩人見面打招呼先鞠躬作揖、集市里幾名留著長(zhǎng)辮子的青年好奇地張望著鏡頭……這段視頻一經(jīng)發(fā)布，就在全網(wǎng)掀起轉(zhuǎn)發(fā)熱潮。

5月8日，博主@大谷·斯皮策在微博上傳了一段視頻。他用人工智能技術(shù)修復(fù)了100年前民國(guó)初年的北京形象。圖中，馬車和行人在程門街上來(lái)來(lái)往往。兩個(gè)人在院子前見面打招呼，先鞠躬，再鞠躬。市場(chǎng)里幾個(gè)留著長(zhǎng)辮子的年輕人好奇地看著鏡頭...這個(gè)視頻一旦發(fā)布，將在全網(wǎng)掀起轉(zhuǎn)發(fā)熱潮。

用專業(yè)軟件開源算法，多種AI技術(shù)修復(fù)老北京街景

“我一直在思考什么樣的技術(shù)可以用來(lái)做一些對(duì)社會(huì)有意義、有意思的事情?！盄大谷斯皮策在視頻中說(shuō)。

@大谷斯皮策，90歲，北京人，目前在紐約從事獨(dú)立游戲開發(fā)。據(jù)@大谷·斯皮策(Otani Spitzer)介紹，這段視頻的源視頻來(lái)自《人民日?qǐng)?bào)》4年前發(fā)布的素材影片，由加拿大攝影師拍攝于1920年至1929年。

一百多年前，隨著歐美電影技術(shù)的發(fā)展，越來(lái)越多的外國(guó)人把相機(jī)對(duì)準(zhǔn)中國(guó)社會(huì)。這些珍貴的電影保存了歷史場(chǎng)景。但原視頻是黑白的，畫面模糊無(wú)聲會(huì)影響人的觀看體驗(yàn)。

@大谷斯皮策說(shuō)他用AI完成上色、修復(fù)幀率、擴(kuò)展分辨率的步驟來(lái)處理圖像。根據(jù)媒體《超超神經(jīng)》的科技研究，該視頻采用DAIN插幀算法修復(fù)幀率，ESRGAN方法增強(qiáng)分辨率，DeOldify項(xiàng)目對(duì)視頻進(jìn)行著色，VirtualDub軟件對(duì)老電影的降噪部分進(jìn)行處理。

在經(jīng)過(guò)處理的視頻中，人們可以清楚地看到，生活好的豪宅主人趕走了留在庭院前的乞丐，生意好的大排檔占據(jù)了市中心廣場(chǎng)的中心，大量的“客流”進(jìn)出城市，絡(luò)繹不絕的朝圣者甚至隆重的葬禮儀式。

@大谷斯皮策也從網(wǎng)上找到了音效。視頻的背景曲目是北京民間音樂(lè)大師的作品，其中道教音樂(lè)來(lái)源于北京巴龍寺的錄音圖像。網(wǎng)友@睡到天涯海角，說(shuō)“我特別喜歡寺廟，那里能聽到梵音，能感受到一百年前北京煙火的味道。

最后，通過(guò)開源算法和軟件的結(jié)合，向觀眾展示了一個(gè)10分鐘的視頻。從網(wǎng)友的反應(yīng)可以看出視頻的修復(fù)效果:

@請(qǐng)永遠(yuǎn)暗戀我:“不是概念上的，宏觀上的，寫的，描述的，考察的。完全打破了我模糊的想象，很感動(dòng)?！?/p>

@ LEQ、凌風(fēng)、穆云:“謝謝你們給我看了一個(gè)100年前的vlog……...真的很牛逼。博物館應(yīng)該收藏你的作品！而且好多背景音也煩！很精致?！?/p>

@日常貓?zhí)銠C(jī):“視頻里這個(gè)剛出去的人，想象不到會(huì)有一個(gè)人抱著一個(gè)神奇的物體躺在床上觀察他們當(dāng)時(shí)的一舉一動(dòng)?！?/p>

AI修復(fù)老片不是新技術(shù)?！度骼恕贰队篮阃例堈摺范加眠^(guò)

@大谷·斯皮策在他的微博中說(shuō)，他的圖像恢復(fù)技術(shù)管道參考了開發(fā)者丹尼斯·希爾雅的圖像恢復(fù)教程。

經(jīng)過(guò)搜索，杜南科創(chuàng)記者了解到，今年2月，丹尼斯·謝里亞耶夫在Youtube上上傳了他的4K高清版“火車進(jìn)站”，這是1896年法國(guó)巴黎的第一部電影。

125年前，《火車進(jìn)站》是用35 mm膠片格式制作的。因?yàn)楫?dāng)時(shí)電影技術(shù)還不成熟，畫面中的景物比較模糊，火車駛來(lái)時(shí)有明顯的尾隨陰影。但現(xiàn)在經(jīng)過(guò)AI處理的分辨率提升和插幀，這部老電影獲得了4K ~ 60fps的畫質(zhì)，真實(shí)感得到了很大的提升。

近年來(lái)，用AI修復(fù)老電影在國(guó)內(nèi)也得到廣泛應(yīng)用。1949年版《三毛流浪》是新中國(guó)成立后上映的第一部國(guó)產(chǎn)電影。2019年，由AI技術(shù)修復(fù)的《三毛流浪》在上海國(guó)際電影節(jié)上映。同年，在開國(guó)大典的還原過(guò)程中也采用了AI技術(shù)。

"這實(shí)際上在商業(yè)上證明了技術(shù)可以帶來(lái)新的價(jià)值."阿里巴巴的高級(jí)技術(shù)專家蔣說(shuō)。

在舊膠片修復(fù)領(lǐng)域，人工智能技術(shù)的應(yīng)用有一個(gè)從無(wú)到有的過(guò)程。愛奇藝高級(jí)導(dǎo)演劉俊輝在接受《文匯報(bào)》采訪時(shí)解釋說(shuō)，在AI開始“工作”之前，必須經(jīng)過(guò)大量的學(xué)習(xí)來(lái)構(gòu)建模型和推演算法:一方面，對(duì)比人工修復(fù)前后的影片；另一方面，在清晰的膠片上加入了漿糊和噪點(diǎn)，人為模擬舊膠片。通過(guò)這些基礎(chǔ)材料，超分辨率、去噪銳化、色斑修復(fù)、色彩增強(qiáng)成為人工智能技術(shù)幫助修復(fù)舊膜的“基本功”。

劃痕修復(fù)，圖片上色等。還需要手工操作，AI修復(fù)電影還需要提升技術(shù)

細(xì)心的觀眾會(huì)在@大谷斯皮策視頻的開屏旁邊的小字里注意到這句話:“顏色是AI自學(xué)的結(jié)果，不代表歷史原色?！边@一方面反映了AI在修復(fù)老片上的一個(gè)技術(shù)瓶頸，即機(jī)器本身不具備藝術(shù)鑒賞能力，配色等主觀藝術(shù)創(chuàng)作需要手動(dòng)掌握。

劉俊輝曾公開介紹，愛奇藝團(tuán)隊(duì)最初嘗試通過(guò)AI技術(shù)修復(fù)舊片時(shí)，制作了樣片，提交給中國(guó)電影資料館的修復(fù)專家。高清、降噪、去除劃痕...他們都修了修，但是這個(gè)樣品直接被專家否決了。對(duì)方給出的建議是:AI修復(fù)的視頻畫面整體色彩飽滿，但電影本身的年齡感喪失。

同樣，據(jù)中國(guó)新聞出版廣電新聞報(bào)道，電影開園儀式有24萬(wàn)幀，花了4個(gè)多月時(shí)間修復(fù)。負(fù)責(zé)膠片修復(fù)工作的技術(shù)員周素月說(shuō):“正片90%的工作量是通過(guò)AI技術(shù)解決的，而人工部分占了90%的時(shí)間。”特別是專業(yè)修復(fù)師只能修復(fù)鏡頭不穩(wěn)定，膠片上有很多臟點(diǎn)、油漬、劃痕、變型的膨脹片。

但是技術(shù)總是在進(jìn)步的。2019年7月，AI服務(wù)提供商deepsense.ai使用人工智能修復(fù)經(jīng)典電影《亂世佳人》。對(duì)于充滿噪聲和劃痕的原始膠片，他們使用監(jiān)督學(xué)習(xí)算法，通過(guò)神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，使機(jī)器能夠?qū)W習(xí)消除缺陷。此外，5G時(shí)代的到來(lái)將為經(jīng)典老片的傳承帶來(lái)更多新的機(jī)遇，因?yàn)楦咚倬W(wǎng)絡(luò)將促進(jìn)超高清內(nèi)容的傳輸，刺激人們對(duì)移動(dòng)電影觀看的巨大需求。

技術(shù)也是充滿妄想的，就像網(wǎng)友@智北優(yōu)源在評(píng)論區(qū)說(shuō)的:“百年之后，我們會(huì)不會(huì)被后人感嘆？”

制作人:杜南科創(chuàng)工作室

南都記者 任先博 實(shí)習(xí)生 郭靜怡 綜合報(bào)道