在視頻中插入手繪動(dòng)畫！傳統(tǒng)上這是一項(xiàng)非常困難的任務(wù)，但 VideoDoodles 讓它成為可能。

VideoDoodles是Adobe公司聯(lián)合多所大學(xué)推出的AI視頻編輯框架。支持用戶在視頻中輕松插入手繪動(dòng)畫，實(shí)現(xiàn)與視頻內(nèi)容的無縫融合。通過預(yù)處理視頻幀，系統(tǒng)提供平面畫布，用戶可以視頻上繪制動(dòng)畫，系統(tǒng)自動(dòng)處理透視和遮擋效果。

與此同時(shí)，VideoDoodles也是是一種創(chuàng)新的交互式系統(tǒng)，允許用戶在視頻中添加手繪動(dòng)畫。VideoDoodles的跟蹤算法能夠使動(dòng)畫跟隨視頻中的物體移動(dòng)，簡化了動(dòng)畫制作流程。而這些動(dòng)畫不僅能跟隨視頻中的物體移動(dòng)，還能自動(dòng)調(diào)整大小和角度，看起來像是原本就屬于視頻中的一部分。這對(duì)于想要給視頻增添個(gè)性化效果或教育性內(nèi)容的創(chuàng)作者來說，非常有用。

與傳統(tǒng)的視頻編輯軟件不同，該系統(tǒng)利用先進(jìn)的3D場景重建技術(shù)，使得插入的繪畫能夠自然地融入視頻場景，實(shí)現(xiàn)追蹤、透視變形和遮擋等復(fù)雜視覺效果。

VideoDoodles的技術(shù)原理

• 視頻預(yù)處理：VideoDoodles對(duì)輸入的視頻進(jìn)行分析，提取每幀的攝像機(jī)姿態(tài)、深度圖和光流信息，為后續(xù)的動(dòng)畫合成打下基礎(chǔ)。

• 平面畫布映射：用戶在3D空間中放置虛擬的平面畫布，畫布可以映射到視頻的特定區(qū)域。VideoDoodles利用攝像機(jī)姿態(tài)和深度圖信息，自動(dòng)渲染出具有正確透視和遮擋效果的畫布。

• 跟蹤算法：VideoDoodles采用自定義的跟蹤算法，畫布能夠跟隨視頻中的靜態(tài)或動(dòng)態(tài)物體移動(dòng)。用戶可以通過設(shè)置關(guān)鍵幀來控制畫布的位置和方向，系統(tǒng)會(huì)自動(dòng)計(jì)算出最佳的3D軌跡。

3D位置和方向跟蹤：

• 位置跟蹤：基于關(guān)鍵幀的2D跟蹤算法，構(gòu)建有向圖來搜索物體的軌跡，畫布與物體的相對(duì)位置能保持一致。

• 方向跟蹤：用戶可以在關(guān)鍵幀中指定畫布的旋轉(zhuǎn)矩陣，通過優(yōu)化算法來保持畫布方向與運(yùn)動(dòng)物體方向一致。

• 自動(dòng)化動(dòng)畫生成：一旦用戶在關(guān)鍵幀上繪制了動(dòng)畫元素，VideoDoodles就會(huì)自動(dòng)生成整個(gè)動(dòng)畫過程，無需用戶逐幀繪制。

• 用戶界面設(shè)計(jì)：VideoDoodles提供了一個(gè)直觀的用戶界面，使用戶能夠輕松地選擇、繪制和調(diào)整動(dòng)畫元素。

藝術(shù)家通常以視頻為背景，逐幀繪制 2D 動(dòng)畫來創(chuàng)作視頻涂鴉。按照這種手動(dòng)工作流程，面臨的主要困難是讓繪制的內(nèi)容與視頻內(nèi)容進(jìn)行令人信服的互動(dòng)。

而VideoDoodles建議通過用戶界面來協(xié)助創(chuàng)建視頻涂鴉，該界面利用深度和運(yùn)動(dòng)先驗(yàn)來固定捕獲視頻中的場景感知畫布，用戶可以在其上添加手繪的逐幀動(dòng)畫。

用戶可以通過設(shè)置位置和方向的關(guān)鍵幀，在其中的2D 圖像空間 UI中精細(xì)控制畫布。我們的系統(tǒng)會(huì)通過跟蹤視頻中移動(dòng)物體的運(yùn)動(dòng)來插入關(guān)鍵幀。

簡而言之，VideoDoodles引入了一種新穎的用戶界面和跟蹤算法，以解鎖使用深度和運(yùn)動(dòng)數(shù)據(jù)（通過現(xiàn)有的計(jì)算機(jī)視覺方法獲得）增強(qiáng)的視頻的新版本功能。根據(jù)通過任意數(shù)量的位置和方向關(guān)鍵幀表達(dá)的用戶意圖，我們的算法可以在視頻的任何幀上渲染具有正確遮擋和透視變換的場景感知畫布，并使畫布跟隨移動(dòng)物體。

VideoDoodles是如何工作的呢？

剛剛介紹了一些技術(shù)原理，以下是一些具體的執(zhí)行步驟：

• 3D場景重建：首先，系統(tǒng)會(huì)分析你上傳的視頻，自動(dòng)構(gòu)建出一個(gè)3D場景。

• 放置畫布：在這個(gè)3D場景中，你可以放置虛擬的"畫布"，就像在現(xiàn)實(shí)世界中放置一塊畫板一樣。

• 繪制動(dòng)畫：在這些畫布上，你可以自由地創(chuàng)作你的動(dòng)畫。

• 智能追蹤：這是VideoDoodles最神奇的部分。你可以讓畫布"附著"在視頻中的物體上。比如，你可以讓一只畫好的小鳥跟隨視頻中的一輛移動(dòng)的汽車。系統(tǒng)會(huì)自動(dòng)確保小鳥的位置、大小和角度隨著汽車的移動(dòng)而正確變化。

• 自動(dòng)調(diào)整：當(dāng)你的動(dòng)畫與視頻中的其他元素互動(dòng)時(shí)，VideoDoodles會(huì)自動(dòng)處理遮擋關(guān)系。例如，如果有一棵樹擋在你畫的小鳥前面，系統(tǒng)會(huì)確保小鳥被樹正確遮擋，看起來就像真的在場景中一樣。

在操作界面設(shè)計(jì)上，VideoDoodles采用了直觀的2D圖像空間UI。用戶通過關(guān)鍵幀控制畫布的位置和方向。系統(tǒng)會(huì)智能地在關(guān)鍵幀之間進(jìn)行插值，追蹤視頻中物體的運(yùn)動(dòng)，確保動(dòng)畫的流暢性。

實(shí)際測試顯示，用戶僅需十幾分鐘就能創(chuàng)作出簡短而精彩的動(dòng)畫片段。專業(yè)創(chuàng)作者則對(duì)VideoDoodles的速度和易用性給予了高度評(píng)價(jià)，認(rèn)為它比現(xiàn)有工具更加高效。