top of page
作家相片meligolive

NVIDIA 和 MIT 的研究團隊設計出史上最強的「高清影片生成 AI」,只要給它簡單的線條,立刻轉換成真實的世界!


TEXT: MELIGO

VIDEO/PHOTO: NVIDIA/MIT

" 聽過神筆馬良的故事麼?拿到神筆的馬良,可以畫出任何物品、畫動物、畫食物,而且,這些畫作都可以一秒鐘從畫面上出來,變成真實世界中存在的東西。"

這只是一個童話故事,不過,NVIDIA 和  MIT 聯手的最新AI研究,基本上已經將馬良的「神筆」給打造出來了。



NVIDIA 和 MIT 的最新研究沒在開玩笑,說是史上最強也不為過。這個研究團隊設計出一款強大的 AI 神經網絡,讓人只要提交線條的勾勒圖就可以一秒變真品。而且不侷限於靜態物品,所有動態的真實世界都能隨意生成!



來自 NVIDIA 和  MIT 的研究團隊,包括來自 NVIDIA 的 Ting-Chun Wang、劉明宇(Ming-Yu Liu),以及來自 MIT 的朱俊彥(Jun-Yan Zhu)等。他們的成果到底有多強、多可怕?一起來看。


先隨意畫一個簡單的線條勾勒圖,馬上就還你一個「史詩級」的無違和電影場景


換句話說,只要把你心中的場景勾勒出來,不用去實拍,電影級的影片就可以自動生成出來,像下面一樣:


這可不是在播放錄像,街景中的道路、車輛、建築、綠植都是自動生成的。


原本只是簡單勾勒景物輪廓的語義分割圖,搖身一變就成了真實的街景。真實的有點過分。


不僅如此,可瞬間把行道樹也給變成建築:



隨意的生成變化,就像偷來了哈利 ·波特的魔杖,無需咒語,就可以把這個場景中所有的元素變變變,真實世界完全不需要存在這些場景,AI直接都拍好給你。


例如想在原本的風景圖加上一個高空彈跳的真實人物:



除此之外還有更厲害的,借我一個人臉草圖,我就還你一個 1080p 「超寫實」人臉


通過一個簡單的素描草圖,就能生成細節豐富、動作流暢的高清人臉:



根據勾勒出的人臉輪廓,系統自動生成了一張張正在說話的臉,臉型、面部五官、髮型、首飾都可以生成。甚至還主動替人臉繪制背景。


除此之外,人臉的面色、發色也可以定制化選擇,皮膚或深或淺,發色或黑或白,全都自然生成無壓力:



簡直就像同一個人染了頭髮拍了三遍,這種逼真的效果,完全已經不需要再找真實世界的網紅或模特兒了!


不只人臉,整個身子都能搞定


隨著左側人體模型的跳動、位移和肢體不斷變換,右側的真人影片中,主角也在隨之舞蹈,無論你想要什麼樣的姿勢,變高、變矮、變胖、變瘦,只要把左側的人體模型調整一下,右側的真人影片就會乖乖的聽你調教。



這種新方法訓練出來的模型,能夠生成長達  30 秒的  2K 分辨率街景影片,顯著提升了影片合成的技術水平,如果未來應用在影片生產中,只要躲在電腦前,一年也能拍出上萬部超級逼真的電影了。

0 則留言

Comments


bottom of page