Tento príspevok vysvetlí nasledujúci obsah:
- Čo je to Jukebox OpenAI?
- Ako funguje jukebox OpenAI?
- Ako používať Jukebox OpenAI?
- Vlastnosti Jukeboxu
Čo je to Jukebox OpenAI?
Jukebox je systém hlbokého učenia, ktorý dokáže generovať hudbu od nuly na základe určitého vstupu, ako sú texty, žáner, umelec alebo nálada. Jukebox používa veľký súbor údajov s viac ako 1,2 milióna skladieb z rôznych zdrojov, ako sú Spotify, YouTube a súbory MIDI, aby sa naučil vzory a funkcie hudby.
Ako funguje jukebox OpenAI?
Jukebox sa skladá z troch hlavných komponentov: kódovač VQ-VAE, dekodér transformátora a prevzorkovač.
kódovač VQ-VAE
Kodér VQ-VAE je zodpovedný za kompresiu surového zvuku do reprezentácie nižšej dimenzie, ktorá zachováva základné informácie o hudbe. Kódovač používa techniku nazývanú vektorová kvantizácia (VQ) na mapovanie každého segmentu zvuku do jedného z 2048 tokenov.
Transformátorový dekodér
Tieto tokeny sa potom privedú do dekodéra transformátora, čo je neurónová sieť, ktorá dokáže generovať sekvencie tokenov na základe vstupu a naučených hudobných znalostí. Dekodér dokáže generovať tokeny, ktoré zodpovedajú textom, melódii, harmónii, rytmu, zafarbeniu a iným hudobným aspektom.
Prevzorkovač
Upsampler je posledný komponent, ktorý konvertuje vygenerované tokeny späť na vysokokvalitný zvuk. Upsampler používa ďalší VQ-VAE na rekonštrukciu zvuku z tokenov, pričom pridáva detaily a nuansy, ktoré chýbajú v reprezentácii nižšej dimenzie. Upsampler môže tiež použiť ďalšie informácie, ako je vloženie žánru alebo interpreta, aby doladil výstup a aby znel realistickejšie a rozmanitejšie.
Ako používať Jukebox OpenAI?
Ak chcete používať Jukebox, musíte mať prístup k výkonnému GPU alebo cloudovej výpočtovej službe, ktorá dokáže spustiť kód Jukeboxu. Môžete nájsť skript a pokyny, ako nainštalovať a spustiť Jukebox GitHub . Niektoré príklady skladieb generovaných Jukeboxom nájdete aj na SoundCloud nižšie:
Na generovanie vlastných skladieb pomocou Jukeboxu musíte zadať niektoré vstupné parametre, ako sú texty, žáner, interpret alebo nálada. Môžete tiež určiť teplotu odberu vzoriek, ktorá určuje, aký náhodný a kreatívny bude výstup.
Vyššia teplota znamená väčšiu rozmanitosť a novosť, zatiaľ čo nižšia teplota znamená väčšiu koherenciu a podobnosť so vstupom. Môžete si tiež zvoliť úroveň kvality a zložitosti výstupu v rozsahu od 5b (najvyššia) po 1b (najnižšia). Vyššia úroveň znamená viac vernosti a detailov, ale aj viac výpočtového času a zdrojov.
Po nastavení vstupných parametrov môžete spustiť kód Jukeboxu a počkať, kým vygeneruje vašu skladbu. V závislosti od vašich nastavení a hardvéru to môže trvať minúty až hodiny alebo dokonca dni. Taktiež sledujte priebeh a počúvajte priebežné ukážky. Keď je generovanie hotové, môžete si stiahnuť svoju skladbu ako súbor MP3 a vychutnať si svoje hudobné majstrovské dielo.
Vlastnosti Jukeboxu
Jukebox je možné použiť na rôzne účely, napr.
- Vytváranie originálnej hudby pre osobné alebo komerčné použitie
- Remixovanie alebo vzorkovanie existujúcich skladieb
- Generovanie hudby pre konkrétne nálady, témy alebo príležitosti
- Skúmanie rôznych žánrov a štýlov hudby
- Bavte sa a buďte kreatívni
Záver
Jukebox je úžasný nástroj, ktorý vám pomôže vytvoriť originálnu a rôznorodú hudbu s minimálnym úsilím. Môžete ho použiť na experimentovanie s rôznymi žánrami a štýlmi, na remixovanie existujúcich skladieb alebo interpretov alebo na vyjadrenie vlastných emócií a nápadov prostredníctvom hudby. Jukebox však nie je dokonalý; môže niekedy produkovať chyby, chyby alebo nezmyselné výstupy.