谷歌“狂飆”在生成式AI賽道最新模型可憑文字、圖片“創作”音樂
2024-11-22
機器人“ChatGPT”的研發者OpenAI則推出過Jukebox。 MusicLM有何獨到之處？
它其實是一個分層的序列到序列（Sequence-to-Sequence）模型。根據人工智能科學家KeunwooChoi的說法，MusicLM結合了MuLan+AudioLM和MuLan+w2b-Bert+Soundstream等多個模型，可謂集大成者。
其中，AudioLM模型可視作MusicLM的前身，MusicLM就是利用了AudioLM的多階段自回歸建模作為生成條件，可以通過文本描述，以24kHz的頻率生成音樂，并在幾分鐘內保持這個頻率。
相較而言，MusicLM的訓練數據更多。研究團隊引入了首個專門為文本-音樂生成任務評估數據MusicCaps來解決任務缺乏評估數據的問題。MusicCaps由專業人士共建，涵蓋5500個音樂-文本對。
基于此，谷歌用280000小時的音樂數據集訓練出了MusicLM。
谷歌的實驗表明，MusicLM在音頻質量和對文本描述的遵守方面都優于以前的模型。
不過，MusicLM也有著所有生成式AI共同的風險——技術不完善、素材侵權、道德爭議等。
對于技術問題，比方說當要求MusicLM生成人聲時，技術上可行，但效果不佳，歌詞亂七八糟、意義不明的情況時有發生。MusicLM也會“偷懶”——起生成的音樂中，約有1%直接從訓練集的歌曲中復制。
另外，由AI系統生成的音樂到底算不算原創作品？可以受到版權保護嗎？能不能和“人造音樂”同臺競技？相關爭議始終未有一致見解。
這些都是谷歌沒有對外發布MusicLM的原因?！拔覀兂姓J該模型有盜用創意內容的潛在風險，我們強調，需要在未來開展更多工作來應對這些與音樂生成相關的風險?！惫雀璋l布的論文寫道。