資訊專欄INFORMATION COLUMN
前幾個(gè)月OpenAI大名鼎鼎的Sora 一經(jīng)發(fā)布，似乎象征著視頻領(lǐng)域已經(jīng)進(jìn)入了生成式 AI 時(shí)代。
不過直到今天，我們?nèi)匀粵]有用上OpenAI 的官方視頻生成工具，等不及的人們已經(jīng)開始尋找其他的方法。其中不乏一些國內(nèi)的廠商如快手的可靈等等。
而在近日，一款全新的開源視頻編輯工具 Clapper 引發(fā)了人們的關(guān)注。與其他的文生視頻或者文生視頻工具不同，這款工具的設(shè)計(jì)目的并非取代傳統(tǒng)視頻編輯器，或使用 3D 場景作為輸入的現(xiàn)代 AI 編輯器；其理念是讓任何人都可以通過交互式、迭代和直觀的過程使用 AI 制作視頻，而無需外部工具、電影制作或 AI 工程技能。
Clapper 是一款由 HuggingFace 的 AI 前端工程師 Julian Bilcke 開發(fā)的免費(fèi)開源可視化 AI 視頻編輯工具。它集成了多種生成式 AI 技術(shù)，讓用戶能夠通過交互式、迭代和直觀的過程來創(chuàng)建視頻，無需掌握專業(yè)的電影制作或 AI 工程技能。
在 Clapper 中，用戶可以通過調(diào)整高級(jí)抽象概念（如角色、地點(diǎn)、天氣等）來迭代優(yōu)化故事情節(jié)。而Clapper 的導(dǎo)演模式允許用戶向 AI 發(fā)出指令，從而進(jìn)行創(chuàng)作電影。這一工具為視頻創(chuàng)作領(lǐng)域提供了一種全新的工作流程和創(chuàng)作方式。Clapper 的作者Julian Bilcke 是 HuggingFace 的一名 AI 前端工程師。他表示，為了向這個(gè)方向繼續(xù)努力，他還在開發(fā)導(dǎo)演模式：目標(biāo)是讓使用者可以全屏播放視頻，舒適地坐在導(dǎo)演椅（或沙發(fā)）上，向 Agent 大喊命令，讓 AI 制作電影。
最近幾天，Julian Bilcke 已經(jīng)上線了使用大模型將任意文本轉(zhuǎn)換為時(shí)間線等新功能。而 Clapper 的熱度也水漲船高，在 GitHub 上已經(jīng)擁有超過 1100 的 Star 量。
既然是開源工具，我們主要看的當(dāng)然是具體好不好用。還記得 AI 大咖 Karpathy 制作 AI 短視頻的經(jīng)歷嗎？為了把《傲慢與偏見》開頭的三句話制作成動(dòng)畫，他花費(fèi)了整整一個(gè)小時(shí)。
雖然只有三句話和三個(gè)場景，但整個(gè)流程比看起來復(fù)雜得多。他先用 Claude 根據(jù)原文生成一系列圖像提示詞，再將這些提示詞輸入文本生成圖像模型，生成相應(yīng)的圖像，接著使用視頻模型制作動(dòng)畫，配音則交給了 Elevenlabs，最后在 Veed Studio 中將所有片段整合起來。完成后，Karpathy 在推特上吐槽道：「創(chuàng)業(yè)者們，機(jī)會(huì)來了！市場上急需一個(gè)能夠整合并簡化這些流程的 AI 工具?！?/p>
好巧不巧，Clapper 正是這樣一個(gè)集成了所有這些功能的一站式平臺(tái)。
通常情況下，要制作一條短視頻，需要經(jīng)歷多個(gè)步驟。
首先是構(gòu)思故事和編寫腳本，然后根據(jù)腳本繪制分鏡圖。接下來，根據(jù)分鏡圖進(jìn)行拍攝或?qū)ふ宜夭模瑢⑦@些素材在剪輯軟件中拼接起來，添加動(dòng)畫效果和特效，最后選擇性地添加口播、背景音樂或音效。
正因?yàn)檫@一流程的復(fù)雜性，影視制作行業(yè)中逐漸形成了編導(dǎo)、導(dǎo)演、攝像、剪輯、后期制作、配音等專業(yè)分工。而在 Clapper 中，視頻制作遵循一種全新的邏輯。它的每條軌道不再像 Premier、剪映等傳統(tǒng)剪輯軟件那樣對應(yīng)視頻或圖片素材，而是對應(yīng)一個(gè)具體的制作環(huán)節(jié)或工種。
在用 AI 做視頻這件事上，我們就是 AI 的甲方，而Clapper 就像一個(gè)由業(yè)內(nèi)最強(qiáng)的 AI 組成的劇組。Clapper 內(nèi)置像 GPT-4o，Claude 3.5（Sonnet）等一系列「頂流」大模型。它就像乙方的執(zhí)行導(dǎo)演一樣，負(fù)責(zé)將你的需求對接給對應(yīng)的「AI 編導(dǎo)」。
從上面的圖中可以看出，第一條軌道代表著故事版，和 Clapper 內(nèi)置的大模型對話，它將通過 API 調(diào)取文生圖模型，讓 AI 分鏡老師來生成對應(yīng)的圖片，作為視頻畫面的基礎(chǔ)。
以 Clapper 提供的樣片為例，接下來的軌道依次對應(yīng)場景、旁白、攝像機(jī)視角、背景音樂和音效。你可以使用 ElevenLabs 或 Fal.ai 為這個(gè)西部廢土世界的故事生成一些廢墟的風(fēng)聲或槍戰(zhàn)的爆炸聲。此外，Clapper 還具備一項(xiàng)可能讓「會(huì)說話就能拍電影」這一夢想更接近現(xiàn)實(shí)的功能。你可以直接將劇本導(dǎo)入 Clapper，并在「故事」部分為你的主人公精心設(shè)計(jì)角色設(shè)定。
然而，盡管 Clapper 的功能充分考慮了視頻制作的需求，其效果卻并不盡如人意。畫面中的人物動(dòng)作有些“鬼畜”，不符合物理運(yùn)動(dòng)規(guī)律。整體視頻效果更像是會(huì)動(dòng)的 PPT，缺乏鏡頭之間的轉(zhuǎn)場和連貫性，配樂有時(shí)候也充滿了 AI 的痕跡，旋律感不強(qiáng)，甚至還夾雜著一些雜音?？赡苌墒?AI 想要改變視頻制作的流程，還需要很長時(shí)間，但 Clapper 的出現(xiàn)或許能給還在給傳統(tǒng)視頻剪輯軟件拓展 AI 功能的大廠們，提供了一條新的落地思路。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/131151.html
摘要：可預(yù)見的未來激情賽事已經(jīng)過半，阿里云視頻技術(shù)在本次世界杯中也成功落地，而這并不是結(jié)局，這是將視頻應(yīng)用于體育行業(yè)以及更多其他行業(yè)的開端。 本屆世界杯互聯(lián)網(wǎng)直播的順利進(jìn)行，離不開各大云計(jì)算廠商的支持。在這其中，阿里云是當(dāng)之無愧的C位，除了優(yōu)酷外，阿里云還支撐了CNTV、CCTV5客戶端，為全網(wǎng)70%的世界杯直播流量保駕護(hù)航。 對于世界杯這種超大觀看量級(jí)、超強(qiáng)影響力的重要體育賽事，阿里云一直...
摘要：就國內(nèi)市場而言，百度云選擇三位一體戰(zhàn)略的時(shí)候不乏長遠(yuǎn)性思考。百度云將放在位的另一個(gè)用意正是在領(lǐng)域樹立差異化優(yōu)勢，并通過等深耕垂直場景。至少就目前來看，百度云已經(jīng)找到了最適合自己的競爭方式。2018年下半年，To B迎來了從未有過的熱度，也把云計(jì)算重新捧上了風(fēng)口浪尖。和幾年前新興業(yè)務(wù)的身份不同，處于風(fēng)暴中心的云計(jì)算，早已成為互聯(lián)網(wǎng)巨頭和創(chuàng)業(yè)者們最激烈的戰(zhàn)場，并相繼宣布了醞釀許久的動(dòng)作。阿里在財(cái)...
摘要：百度企業(yè)智能大會(huì)現(xiàn)場新一輪搶灘賽將放在位的百度云，自然有著自己的考量。站在百度云的角度而言，云計(jì)算進(jìn)入到綜合實(shí)力的較量，恰恰是以己所長攻彼之短的最佳時(shí)機(jī)。2018年下半年，To B迎來了從未有過的熱度，也把云計(jì)算重新捧上了風(fēng)口浪尖。和幾年前新興業(yè)務(wù)的身份不同，處于風(fēng)暴中心的云計(jì)算，早已成為互聯(lián)網(wǎng)巨頭和創(chuàng)業(yè)者們最激烈的戰(zhàn)場，并相繼宣布了醞釀許久的動(dòng)作。阿里在財(cái)報(bào)中努力擴(kuò)大云計(jì)算的占比，并視之為...
摘要：不僅如此，倒霉的不只是文科生，根據(jù)劍橋大學(xué)的數(shù)據(jù)，目前熱門的工程師居然有的幾率被淘汰，程序員也有接近的幾率被淘汰。 現(xiàn)如今人工智能已經(jīng)在很多方面得到了應(yīng)用落地，通過手機(jī)移動(dòng)端的一些功能和應(yīng)用程序，我們已經(jīng)能夠很直觀地感受到它對我們生活的影響。比如蘋果IphoneX的人臉識(shí)別功能，包括一些主流app有語音識(shí)別和語音對話的功能。 隨著AI時(shí)代的移動(dòng)技術(shù)革新大會(huì)開幕鄰近，APICloud創(chuàng)始...
閱讀 1468·2025-04-29 17:46
閱讀 13962·2025-03-21 11:44
閱讀 803·2025-02-19 18:27
閱讀 975·2025-02-19 18:21
閱讀 1012·2025-02-19 13:50
閱讀 2020·2025-02-13 22:35
閱讀 1674·2025-02-08 10:20
閱讀 6023·2025-01-02 11:25
