嗨呀大家吼!這里是IT之家,我是浪歌。
Stable Diffusion作為目前最火的“文生圖”開源 AI,最近一年受到很多人的關注,只需要一句 Prompt(提示詞),就能在你的電腦上生成 N 多圖片,別提多好用了。
而就在上周,Stable Diffusion 的開發公司 Stability AI,又放了個大招!
【資料圖】
Stability AI 推出了一款新的文本生成動畫工具包 Stable Animation SDK,支持文本、文本 + 初始圖像、文本 + 視頻多種輸入方式。
Stability AI 官方介紹,目前該 AI 支持三種視頻生成模式:
1、 文本轉動畫:用戶輸入提示詞 (Prompt)并調整各種參數以生成動畫,和? Stable Diffusion 的“文生圖”功能相似。
2、 文本輸入 + 初始圖像輸入:用戶提供一個初始圖像,該圖像作為動畫的起始幀。圖像與文本提示詞(Prompt)結合,生成最終的輸出動畫。
3、 視頻輸入 + 文本輸入:用戶提供一個初始視頻作為動畫的基礎。通過調整各種參數,根據文本提示詞生成最終的輸出動畫。
另外,Stable Animation SDK 提供了 多種模板風格可以選擇,例如 3D 模型、仿真膠片、動漫、電影、像素風格等等。
而 Stable Animation 的使用也非常簡單,例如你輸入一句“一條有紅色鱗片和綠色眼睛的龍”,Stable Animation 模型就會根據描述,生成匹配的 3D 模型,用戶還可以通過添加或更改屬性(如顏色、形狀、大小、紋理、姿勢等)來修改模型。
另外,Stable Animation 并不僅限于生成靜態模型。它還允許使用自然語言命令對它們進行動畫處理。例如,可以在描述中寫道“讓龍噴火”或“讓龍飛起來”,該模型就會生成逼真的動畫和栩栩如生的效果。
Stable Animation 最大的亮點就是降低了影視作品的產出難度。可能有IT之家的小伙伴還記得,之前有一個 YouTube 團隊 Corridor ,就使用 Stable AI 的文字生成圖片 AI Stable Diffusion,超低成本做了一部短篇動畫出來。
由于特效實在太出彩了,短短三周,這個視頻就收獲了近 300 萬播放量,27 萬人點贊。
要知道,這只是一個 11 人小團隊,花了 3 萬美元成本制作出來的,這可比工業化影視生產效率高太多了。
而且,他們使用的 Stable Diffusion 是一個 AI 繪圖軟件,要做成動畫只能一幀一幀的生成,還要自己訓練模型 Lora,還是挺費勁的。
有了能自動生成視頻的 Stable Animation,不僅能夠進一步降低成本,對服化道、人員的需求也更低。
以后的視頻大片,真有可能讓幾個人的小團隊做出來。
另外,Stable Animation 的價格也不算太貴,大部分人都可以負擔的起。
Stable AI 官網介紹,10 美元可抵 1000 積分,而在 Stable Diffusion v1.5 模型下,在默認設置值(512x512 分辨率,30steps)下,生成 100 幀(大約 8 秒)視頻將消耗 37.5 積分。
官方也給出了一個按照不同分辨率,生成 100 幀影片的價格表:
根據這個表,浪歌計算了一下,哪怕是高清視頻(1024X1024) 一分鐘也不過 1.35 美金,約合 9.45 元人民幣。
這個價格,動畫公司真的是拍馬也追不上啊!
如果你覺得 Stable Animation 效果還差強人意,別急,還有一個更猛的視頻生成 AI。
初創公司 Runaway 在今年推出了文字生成視頻的 AI 模型 Gen-2,只要短短的一句話或者一張照片,就能生成一段視頻。
官方介紹, Gen-2 可以讓用戶用任意的圖像、視頻或文本,生成酷炫大片,不管任何風格,Gen-2 都可以駕馭。
喜歡日系二次元?沒問題!
想要真人出鏡?搞起來!
比起 Stable Animation,Gen-2 的玩法更加多樣:
1?一個描述語句,就能生成任意風格的視頻
2?輸入一幅圖,再補充一句說明,按照你的需求,AI 會把圖片中的部分元素修改,再轉化為視頻。
?
3?圖像直接出視頻,由 AI 直接把靜態圖變成視頻。?
另外還有視頻特效化(通過引導詞和輔助圖片給視頻增加特效),視頻動漫化(將真人視頻轉化為動畫)等多個實用功能。
基本你能想象的到的 AI 視頻功能,Gen-2 都提供,以后影視行業“一人成軍”真的不是夢了。
雖然 Gen-2 更加強大,但是價格也更貴了。Runway 是按照套餐包收費的,最便宜的套餐一年也要近千元人民幣。
不過 Runway 的 Gen AI 目前也有很多限制,例如生成速度極慢, 5 秒鐘的視頻需要三分鐘左右,另外生成的視頻有時會比較抽象。
不過,就像 AI 繪圖剛出來時各種“抽象畫風”一樣,浪歌相信隨著時間推移,AI 視頻生成肯定也會越來越完美。
等到那個時候, 你在抖音快手上刷到的視頻, 很有可能都 不是真人演的了 。
小米 Civi 3 新品發布會將在 5 月 25 日下午 14:00 點正式發布,IT之家網站 & App 將會同步直播,歡迎觀看!
另外,近期還有不少熱門內容, 點擊下方藍字即可查看:
【好物】小米13 Ultra手機限定色6399元+12期免息,先科家用落地扇34元狂促 ChatGPT炒股一年回報超500%,基金經理難逃下崗 蘋果iOS 16.5 Bug頻發:多款iPhone續航縮水,官方配件都“抽風” 小米Civi 3官宣:機身邁巴赫?AI這回要讓導演失業了 ↓↓↓
責任編輯:Rex_23