Meta(美泰)的首席執行官馬克·祖克伯格(Mark Zuckerberg)於2024年9月25日在位於加利福尼亞州門洛帕克的公司總部舉行年度活動Meta Connect,宣佈推出一個新的人工智能(AI)模型Movie Gen。該模型可以根據用戶的指令生成逼真的視頻和音頻片段,聲稱能夠與OpenAI及ElevenLabs等領先媒體生成初創公司的工具相媲美。
Meta提供的Movie Gen創作示例顯示出動物游泳、沖浪的視頻,以及使用人們真實照片來描繪他們進行如在畫布上繪畫等行為的視頻。
根據Meta在其博客中的說明,Movie Gen同時也能生成與視頻內容相匹配的背景音樂和音效,並能用來編輯現有視頻。舉例來說,Meta使用該工具在一部視頻中為一位在沙漠中獨自跑步的男人的手中插入了彩球,而在另一部視頻中,將一個男人滑板的停車場從乾燥的地面變成了被濺起水花的水坑。
根據Meta提供的信息,Movie Gen生成的視頻長度最多可達16秒,而音頻的長度最多可達45秒。Meta還分享了一些數據,顯示在盲測中,這款模型的表現比Runway、OpenAI、ElevenLabs和Kling等初創公司的產品更具優勢。
此次宣布正值好萊塢在今年努力探索如何利用生成式AI視頻技術之際,Microsoft支持的OpenAI在2月份首次展示了其產品Sora如何能根據文本指令生成類似於特徵電影的視頻。
娛樂行業的技術專家渴望使用這些工具來提升和加速電影製作,但也有一些人對於這些似乎在未經許可的情況下訓練於版權作品的系統表示擔憂。
立法者也強調了AI生成的假冒(deepfake)在世界各地(包括美國、巴基斯坦、印度及印尼)選舉中的使用所引發的擔憂。
Meta的發言人表示,該公司不太可能像其Llama系列大型語言模型那樣將Movie Gen開放給開發者使用,因為他們會針對每個模型的風險進行個別評估。他們拒絕對Movie Gen的具體評估作出評論。
相反,他們表示,Meta正在與娛樂界及其他內容創作者直接合作,尋求Movie Gen的應用,並計劃明年將其納入Meta的自家產品。
根據Meta發布的博客以及關於這個工具的研究論文,該公司使用了一系列已獲許可和公開可獲取的數據集來構建Movie Gen。
此外,OpenAI年內也與好萊塢的高管和經紀人會談,討論與Sora可能的合作夥伴關係,雖然目前尚未報導出任何交易的結果。對於該公司的做法的擔憂在5月份增加,因為演員斯嘉麗·約翰遜(Scarlett Johansson)指控這家ChatGPT的製造商未經許可模仿她的聲音用於其聊天機器人。
另外,代表《飢餓遊戲》(The Hunger Games)和《暮光之城》(Twilight)等作品的Lions Gate Entertainment於9月份宣佈,將向AI初創公司Runway提供接入其電影和電視庫的權限,以訓練AI模型。作為回報,該工作室及其電影製作人可以使用該模型來輔助他們的工作。