0
雷鋒網按:本文為雷鋒字幕組編譯的技術博客,原文Make Music and Art Using Machine Learning,作者magenta。
翻譯 | 汪星宇 王飛 魏洪貴 整理 | 凡江
概述
Magenta項目的一個主要目標是證明機器學習可以用來提高所有人的創(chuàng)造性潛能。
頁面上的演示和應用均來自谷歌人(內部或是外部),他們打造有趣的玩具、富有創(chuàng)意的應用、研究筆記和專業(yè)工具,這將對許多人有所幫助。
分類
Web應用
本部分包括基于瀏覽器的應用程序管理,許多是通過TensorFlow.js,對WebGL-accelerated的推理實現的。
1. Beat Blender [ demo | blog | code ]
Torin Blankensmith ( Github: torinmb,Twitter: tBlankensmith )
Kyle Phillips ( Github: hapticdata , Twitter: hapticdata )
這是谷歌Creative Lab基于MusicVAE用MusicVAE.js API實現的一個交互demo。你可以使用它來生成鼓點的二維調色板,并通過latent空間繪制路徑以創(chuàng)建不斷變化的節(jié)拍。四個角可以手動編輯,替換為預設,或從latent空間采樣以重新生成調色板。
2. Latent Loops [ demo | blog ]
Catherine McCurry ( Github: currycurry )
Zach Schwartz ( Github: zischwartz )
Harold Cooper ( Github: hrldcpr )
這是谷歌的Pie Shop基于MusicVAE用MusicVAE.js API實現的一個交互demo。Latent Loops可以讓你在一個由不同音階組成的方陣里挑選曲子并生成循環(huán)的曲子,再用這些生成一個更長的曲子。搞音樂的人可以用這個界面創(chuàng)建一個完整的曲子并輕松地將它挪到他們自己的數字音樂工作站中。
3. Melody Mixer [ demo | blog | code ]
Torin Blankensmith ( Github: torinmb , Twitter: tBlankensmith )
Kyle Phillips ( Github: hapticdata , Twitter: hapticdata )
這個demo是由谷歌Creative Lab基于MusicVAE用MusicVAE.js API創(chuàng)建的。它能讓你輕松生成兩小段曲子之間的過渡音樂。
4. PerformanceRNN [ demo | blog | code ]
Curtis Hawthorne ( Github: cghawthorne )
Nikhil Thorat ( Github: nsthorat , Twitter: nsthorat )
PerformanceRNN可以在瀏覽器里實時演奏鋼琴,他是用TensorFlow.js開發(fā)的。
5. SketchRNN [ demo | blog | code ]
David Ha ( Github: hardmaru , Twitter: hardmaru )
Jonas Jongejan ( Github: HalfdanJ , Twitter: HalfdanJ )
Ian Johnson ( Github: enjalot , Twitter: enjalot )
這個demo可以讓你和SketchRNN一起畫畫。
6. NSynth Sound Maker [ demo | blog | code ]
Yotam Mann ( Github: tambien , Twitter: yotammann )
一個基于NSynth的交互AI的嘗試,NSynth是與谷歌Creative Lab合作完成, 你可以選擇兩種樂器將他們合成一個新的音樂。
7. A.I. Duet [ demo | blog | code ]
Yotam Mann ( Github: tambien , Twitter: yotammann )
一個基于NSynth 的交互AI的例子,MelodyRNN是與谷歌Creative Lab合作完成的,它讓你通過機器學習來作曲。通過很多MIDI的例子來訓練一個神經網絡讓它學習音樂概念,創(chuàng)建一個關于音符和時序圖。你演奏一些音符,看看它如何反應的吧。
Colab 筆記本
Colaboratory是谷歌的一個用于普及機器學習教育和研究的研究項目。環(huán)境是Jupyter筆記本,完全運行在云端,不需要本地進行設置。
我們?yōu)镃olab筆記本提供了一些模型,這些模型可以讓你在托管的谷歌云實例上與它們進行免費交互。
8. E-Z NSynth [ demo ]
Jesse Engel ( Github: jesseengel , Twitter: jesseengel )
這個Colab筆記本能夠免費幫助你上傳你自己的聲音文件,然后使用NSynth模型對這些聲音文件進行重建修改。
9. MusicVAE [ demo ]
Adam Roberts ( Github: adarob , Twitter: ada_rob )
MusicVAE學習樂譜的潛在空間。 此Colab筆記本提供的功能可供您從先前的分配中隨機抽樣,并在幾個預先訓練的MusicVAE模型的現有序列之間進行插值。你還可以將結果與MusicVAE論文中描述的基準模型進行比較,這篇論文的題目是:用于學習音樂長期結構的分層潛在矢量模型。
10. Onsets and Frames [ demo ]
Curtis Hawthorne ( Github: cghawthorne )
Onsets and Frames是一個自動鋼琴音樂轉錄模型。 這款Colab筆記本演示了在用戶提供的錄音上模型的運行。
11. Latent Constraints [ demo ]
Jesse Engel ( Github: jesseengel , Twitter: jesseengel )
有關潛在約束的運行實驗代碼:無條件生成模型的條件生成。
本機應用
本機應用程序在本地機器上運行,通常需要您安裝其他軟件,但有時更適合專業(yè)人士使用。
12. NSynth MaxForLive Device [ blog | code ]
Jesse Engel ( Gituhub: jesseengel , Twitter: jesseengel )
MaxForLive設備集成到Max MSP和Ableton Live中。 它可以讓你通過直觀的網格界面探索NSynth聲音的空間。
13. A.I. Jam (NIPS 2016 Demo) [ blog | code ]
Adam Roberts ( Gituhub: adarob , Twitter: ada_rob )
Jesse Engel ( Gituhub: jesseengel , Twitter: jesseengel )
互動式“A.I. Jam使用AI Duet的前端構建的“Jam Session”,結合Magenta MIDI界面,在瀏覽器中重現屢獲殊榮的Magenta 2016 NIPS演示體驗。
社區(qū)貢獻
社區(qū)貢獻都是在沒有谷歌參與的情況下創(chuàng)建的,使用的是Magenta模型和庫。 如果你有一個你認為屬于這里的演示,請通過我們的討論組分享。
14. Latent Cycles [ demo | blog | code ]
Tero Parviainen ( Gituhub: teropa , Twitter: teropa )
使用ImprovRNN的Magenta MusicVAE模型種子生成旋律循環(huán)的潛在空間,然后相互演奏循環(huán),探索潛在的諧波可能性。
由TensorFlow.js和Magenta.js提供支持。
15. Neural Drum Machine [ demo | blog | code ]
Tero Parviainen ( Gituhub: teropa , Twitter: teropa )
由TensorFlow.js和Magenta的DrumsRNN和MusicVAE提供動力的實驗電子鼓樂器。 要使用它,請在左側定義種子模式,并使用“生成”按鈕。 DrumsRNN夢想著延續(xù)你的種子模式。 “密度”滑塊使用MusicVAE添加或刪除圖案中的點擊。
16. Neural Arpeggiator [ demo | blog | code ]
Tero Parviainen ( Gituhub: teropa , Twitter: teropa )
保持一個音符或和弦,讓深度神經網絡在其周圍播放琶音模式。
由TensorFlow.js和Magenta的ImprovRNN提供支持。
17. Neural Melody Autocompletion [ demo | blog | code ]
Tero Parviainen ( Gituhub: teropa ,Twitter: teropa )
播放并保持旋律或和弦,讓深層神經網絡為您完成。
由TensorFlow.js和Magenta的ImprovRNN提供支持。
18. Deep Roll [ demo | blog | code ]
Tero Parviainen ( Gituhub: teropa , Twitter: teropa )
一個深度的神經網絡,在你的瀏覽器中做出旋律。
由TensorFlow.js和Magenta的ImprovRNN提供支持。
這些旋律是由ImprovRNN生成的,和弦產生條件是通過使用馬爾可夫鏈生成的。
19. mSynth [ demo | blog | code ]
Hanoi Hantrakul ( Gituhub: lamtharnhantrakul)
mSynth是一款在2017年Outside Hacks中獲得第一名的應用程序,Outside Hacks是舊金山Outside Lands音樂節(jié)上舉辦的官方24小時音樂編程馬拉松。該團隊開發(fā)了一個藝術家觀眾交互式體驗,節(jié)日觀眾可以通過傾斜手機實時共同控制Magenta的NSynth。 雷鋒網雷鋒網
博客原址 https://magenta.tensorflow.org/demos
雷鋒字幕組正在招募中
掃描下方二維碼
備注“雷鋒字幕組+姓名”加入我們吧
雷峰網原創(chuàng)文章,未經授權禁止轉載。詳情見轉載須知。