來(lái)源：量子位

雖然AI 在藝術(shù)領(lǐng)域一直有不少爭(zhēng)議，但它一直也沒(méi)停下各種嘗試的步伐：

寫(xiě)歌、畫(huà)畫(huà)、寫(xiě)詩(shī)……這不，剛又學(xué)會(huì)了填詞。

我們給這個(gè) AI 放了一首鋼琴曲，曲調(diào)非常悠揚(yáng)平和。

然后，它生成的部分詞是這樣的：

各位感覺(jué)如何？

其中，生成過(guò)程的動(dòng)態(tài)效果看著還不錯(cuò)：

當(dāng)然，它可以很好地分辨不同風(fēng)格的音樂(lè)：給安靜的鋼琴樂(lè)生成的詞與給嘈雜的搖滾樂(lè)生成的會(huì)完全不一樣。

不過(guò)，鑒于目前的填詞效果（比如有時(shí)無(wú)厘頭的上下銜接），研究人員也表示：

這個(gè)工具也不是為了取代音樂(lè)家，而是成為一個(gè)激發(fā)音樂(lè)家創(chuàng)作靈感的工具，輔助他們創(chuàng)造出滿意的作品。

ps. 此處在線 cue 周杰倫，御用詞人試試 AI？

如何分辨出不同風(fēng)格的曲子？

這項(xiàng)研究來(lái)自滑鐵盧大學(xué)，研究成果即將發(fā)表在 ICCC 2021。

項(xiàng)目的動(dòng)機(jī)源于其中一位研究員的個(gè)人興趣。

這名研究員非常喜歡音樂(lè)，所以她很好奇機(jī)器是否可以生成聽(tīng)起來(lái)像她最喜歡的音樂(lè)藝術(shù)家風(fēng)格的歌詞。

最終做出來(lái)的系統(tǒng)叫做LyricJam，已有在線網(wǎng)頁(yè)版供任何感興趣的音樂(lè)人訪問(wèn)使用。

該系統(tǒng)通過(guò)將原始音頻文件轉(zhuǎn)換為頻譜圖，然后使用深度學(xué)習(xí)模型實(shí)時(shí)生成與音樂(lè)相匹配的歌詞。

模型的架構(gòu)由兩個(gè)變分自動(dòng)編碼器（VAE）組成，一個(gè)用于學(xué)習(xí)音樂(lè)音頻的表示，另一個(gè)用于學(xué)習(xí)生成歌詞。

訓(xùn)練數(shù)據(jù)集由 18000 個(gè)原始歌曲的 WAV 音頻片段和 7 種音樂(lè)藝術(shù)家的相應(yīng)歌詞組成。

首先使用 CNN 來(lái)根據(jù)頻譜圖將帶歌詞的音頻，按風(fēng)格分類(lèi)成不同 " 藝術(shù)家 "。

然后訓(xùn)練一個(gè)條件 VAE ( conditional VAE，CVAE ) " 重建 " 原始歌詞，根據(jù)不同類(lèi)型音樂(lè)的歌詞用詞和表達(dá)方式的不同，生成一系列連貫的新歌詞。

其中生成條件是前面預(yù)先訓(xùn)練的 " 藝術(shù)家 " 種類(lèi)。

推理階段，流程差不多：系統(tǒng)將實(shí)時(shí)錄制的音頻片段轉(zhuǎn)換成頻譜圖，然后進(jìn)行風(fēng)格識(shí)別，為了生成最匹配的歌詞，需要根據(jù) " 藝術(shù)家 " 的類(lèi)別從潛在空間中采樣并對(duì)其進(jìn)行解碼，然后生成對(duì)應(yīng)的歌詞表達(dá)。

最后，使用基于 GAN 的對(duì)齊模型來(lái)對(duì)齊兩種編碼器生成的歌詞和音頻表示。

最終效果如何呢？

" 非批判性的即興演奏伙伴 "

為了評(píng)估他們開(kāi)發(fā)的系統(tǒng)，研究人員進(jìn)行了一項(xiàng)簡(jiǎn)單的用戶研究，請(qǐng)來(lái)一批搞音樂(lè)創(chuàng)作的人來(lái)測(cè)試。

測(cè)試要求音樂(lè)人現(xiàn)場(chǎng)演奏音樂(lè)并分享他們對(duì)系統(tǒng)所作歌詞的反饋。

首先確定該系統(tǒng)是否能更準(zhǔn)確地生成與音樂(lè)所產(chǎn)生的情緒相匹配的歌詞。

研究人員選用了 5 種不同樂(lè)器演奏的不同歌曲的片段，每段約 10 秒，用該模型的兩種變體（下圖中每組的第二三行）各生成一行歌詞，再用一個(gè)基線模型（下圖中每組第一行）生成歌詞。

生成示例如下：

測(cè)試者需對(duì)以上 3 種詞，進(jìn)行打分，選出最匹配當(dāng)前音樂(lè)的一種。

總共有 15 個(gè)人參與了這項(xiàng)研究，從下表可以看出，無(wú)論播放的歌曲類(lèi)型如何，用戶都更喜歡后兩個(gè)模型的歌詞，而非基線模型的。

這說(shuō)明，該系統(tǒng)可以生成匹配音樂(lè)風(fēng)格的歌詞。

最后，通過(guò)一系列問(wèn)卷調(diào)查顯示，大多數(shù)參與實(shí)驗(yàn)的音樂(lè)人都覺(jué)得，LyricJam 是一個(gè)非批判性的即興演奏 " 伙伴 "，可以鼓勵(lì)他們即興創(chuàng)作并嘗試不同尋常的歌詞表達(dá)方式。

另外，即使中間改變音樂(lè)風(fēng)格或嘗試加入新的和弦，歌詞也能實(shí)時(shí)做出抒情主題的變化。

最后研究人員表示，如果在更大的數(shù)據(jù)集上訓(xùn)練，填的詞就更具有多樣性了。

感興趣的朋友可戳在線鏈接試玩，系統(tǒng)操作非常簡(jiǎn)單，錄入一個(gè)音頻就可以：https://lyricjam.ai/