字節(jié)跳動推出“中文版Sora”？

近日有傳言稱，字節(jié)跳動在Sora引爆文生視頻賽道之前，已經(jīng)在研發(fā)“中文版Sora”：一款名為Boximator的創(chuàng)新性視頻模型。

2月20日，字節(jié)跳動相關(guān)人士告訴澎湃新聞記者，Boximator是視頻生成領(lǐng)域控制對象運動的技術(shù)方法研究項目。目前還無法作為完善的產(chǎn)品落地，距離國外領(lǐng)先的視頻生成模型在畫面質(zhì)量、保真率、視頻時長等方面還有很大差距。

這款視頻模型的特點是什么？與Runway推出的Gen-2、Pinka等市面上主流模型不同的是，Boximator可以通過文本精準控制生成視頻中人物或物體的動作。Boximator的數(shù)據(jù)來源是WebVid-10M數(shù)據(jù)集，研究人員從中過濾出110萬段動態(tài)明顯的視頻片段，并為其注釋220萬個對象的邊界框，在PixelDance和ModelScope這兩個模型上訓(xùn)練了Boximator。

字節(jié)跳動的研究人員表示，目前這款模型仍然處于研發(fā)階段，預(yù)計將在2-3個月內(nèi)發(fā)布測試網(wǎng)站。

作為國內(nèi)的科技巨頭，深耕短視頻賽道的字節(jié)跳動自然不愿錯過AI視頻這一風(fēng)口。2月7日，抖音集團CEO張楠官宣辭去集團CEO一職，將把全部精力All in剪映。

剪映是字節(jié)跳動推出的核心視頻剪輯產(chǎn)品，盡管不少互聯(lián)網(wǎng)公司都推出了自家剪輯產(chǎn)品，例如快手推出的快影，B站交出的必剪等，剪映依然處于國內(nèi)領(lǐng)先位置。截至2021年，剪映的月活用戶已經(jīng)突破1億，是國內(nèi)最大的移動視頻編輯產(chǎn)品。

澎湃新聞了解到，過去一年，張楠已經(jīng)把絕大多數(shù)精力傾斜到剪映相關(guān)業(yè)務(wù)上，并親自帶隊尋求在AI輔助創(chuàng)作上有所突破，即將推出一個AI生圖和視頻的產(chǎn)品。

在對標(biāo)Sora方面，不少業(yè)內(nèi)觀察人士對剪映寄予厚望。但字節(jié)跳動方面未回應(yīng)Boximator模型是否后續(xù)會應(yīng)用于剪映中。

值得注意的是，此前字節(jié)跳動CEO梁汝波曾批評，公司對于新技術(shù)反應(yīng)太遲鈍。在2024年度全員會上，梁汝波直言，公司層面的半年度技術(shù)回顧太慢，直到2023年才開始討論GPT，而業(yè)內(nèi)做得比較好的大模型創(chuàng)業(yè)公司都是在2018年至2021年創(chuàng)立的。

當(dāng)時，梁汝波還對剪映做出批評，此前剪映的自動續(xù)費功能被用戶反饋不好取消，盡管公司很早就發(fā)現(xiàn)這一問題，卻花了一年的時間才解決。在梁汝波看來，這便是公司遲鈍的表現(xiàn)之一。

隨著Sora誕生，又掀起一波科技公司的布局浪潮。浙商證券認為，短期內(nèi)，Sora及同類產(chǎn)品可大幅提升圖像和短視頻的制作效率，改變創(chuàng)意生產(chǎn)及營銷工作流，提升短視頻產(chǎn)品生產(chǎn)力。AI生成視頻工具的商業(yè)化將提速，目前Sora還未公布收費標(biāo)準，參照之前Runway等文生視頻工具收費情況，定價相對較高。鑒于Sora采用的世界模擬器技術(shù)路徑，邊際成本或有降低的可能。