L’A.I. Pour L’Art? Artificiële intelligentie in muziek

Wat leert het artificiële intelligentie-nageslacht van bijvoorbeeld Holly Herndon en Actress ons over de toekomst van muziek?
Een illustratie van Thomas & Jurgen bij het artikel over artificiële intelligentie in muziek

Muziek tussen mens en machine

Terwijl de opmars van artificiële intelligentie meestal leidt tot discussie over het verlies van banen, dehumanisatie en de griezelige toepassingen van gezichtsherkenning, lijken muzikanten de soms duizelingwekkende beloftes van nieuwe slimme en zelflerende technologieën te omarmen en naar hun hand te zetten in hun muziek. Een verkenning.

Een algoritme dat een concert geeft. Een workshop ‘Artificial Intelligence for Media Composers’ op een conferentie van auteursrechtenorganisatie Buma. Een AI-installatie op basis van Massive Attacks album ‘Mezzanine’ op de tentoonstelling ‘AI: More Than Human’. Een dystopische anime geïnspireerd door gabber én kunstmatige intelligentie.

Het is een greep uit een paar weken aan berichten waarin kunstmatige, of artificiële intelligentie (AI) en muziek op een of andere manier samenkomen. Voor sommigen is AI simpelweg een nieuw stuk gereedschap, voor anderen een bron van ongekende nieuwe mogelijkheden. Weer anderen zien AI als een voorbode van een maatschappelijke dystopie.

En wat is een AI eigenlijk voor ons? Tegenstander, alter ego, of iets heel anders?

Nageslacht

De Amerikaanse elektronicaproducer Holly Herndon bracht recent haar derde album ‘PROTO’ uit. Daarop wordt ze, naast een aantal zangeressen, bijgestaan door Spawn, een AI die Herndon creëerde samen met haar partner, technokunstenaar Matt Dryhurst, en ontwikkelaar Jules LaPlace.

Herndons platen staan vaak in het teken van de botsing tussen het technologische, in de vorm van de hoogwaardige productie, en het lichamelijke, verbeeld door haar stem, die prominent en vaak sterk bewerkt in de muziek aanwezig is.

Op ‘PROTO’ besteedt ze een deel van die bewerking uit aan Spawn, een ‘ontluikende machine-intelligentie’ die getraind is om te variëren op de muziek die hij (Herndon gebruikt afwisselend ‘hij’ en ‘zij’) gevoed krijgt.

Herndon beschouwt Spawn niet als een instrument of een tool, maar als een volwaardig lid van haar ensemble. Hoewel het niet altijd duidelijk is waar mens ophoudt en machine begint, zijn er momenten waarop je Spawn haperend zijn best hoort doen om de menselijke medezangers bij te houden. Volwaardig, maar niet volwassen.

Ook Darren Cunningham, beter bekend als Actress, sleutelt aan een artificiële nakomeling: Young Paint. Het programma ‘leerde’ Actress’ muziek en emuleert die inmiddels, zoals op de gelijknamige ep van eerder dit jaar.

Volgens Cunningham is ongeveer 30 procent van de muziek van de AI’s hand, maar nog minder dan bij Herndon is hoorbaar welk deel dat is. Sterker, als je het niet zou weten, klinkt de ep eigenlijk gewoon als Actress.

Wat ook niet zo raar is, want dat leren is redelijk letterlijk: het trainen van een AI bestaat er over het algemeen uit dat software een heleboel data tot zich neemt en daar patronen in herkent, en die vervolgens aanwendt om nieuwe muziek te maken. In dit geval is die data Actress’ muziek, wat uiteindelijk leidt tot meer Actress-achtige muziek – maar daar hadden we Actress zelf toch al voor?

Cunninghams motivatie lijkt dan ook meer te liggen in het onderzoeken van zijn eigen relatie met de technologie. Tegen ‘Electronic Beats’ zei hij: ‘Hoe dieper je in het proces komt, hoe meer je beseft dat het idee van mens en machine – het verdwijnen in de computer – een vorm van automatic writing wordt.’ Hij refereerde aan de techniek van schrijven zonder er bewust van te zijn. Kunstmatige intelligentie als methode om het eigen onderbewustzijn te ontsluiten.

En ook Spawn is in zekere zin een onderzoek naar de ik van de artiest: ‘AI heeft geen context,’ zei Herndon in een interview, ‘net als een kind. We leggen er onze eigen waarden in.’

Onkenbaar

Dat klinkt allemaal een stuk onschuldiger dan dat AI en robots niet alleen onze banen, maar ook andere delen van ons leven, en uiteindelijk onze autonomie gaan overnemen. Wie verder kijkt dan de headlines moet ook concluderen dat AI’s anno 2019 vooral ook heel veel níét kunnen.

Het angstbeeld van een AI die in opstand komt tegen zijn menselijke meesters is gebaseerd op fictieve voorbeelden als HAL 9000, de computer uit ‘2001: A Space Odyssey’ die over lijken gaat terwijl hij een ruimteschip probeert te kapen.

Het is een voorbeeld van een ‘algemene kunstmatige intelligentie’: een AI die min of meer alles kan, en zelflerend is. De vrees is dat als zo’n systeem zich steeds verder doorontwikkelt, het uiteindelijk onbeheersbaar en onkenbaar wordt, met ongewisse gevolgen voor de mens.

Maar algemene kunstmatige intelligentie is nog (heel) ver weg. De AI’s die vandaag de dag onze banen en privacy bedreigen, zijn narrow AI’s: heel slim, maar slechts goed in één taak. Een schaakcomputer kan een grootmeester verslaan, maar begrijpt niets van boter, kaas en eieren.

Ook de AI’s die muzikanten gebruiken, vallen in de categorie narrow AI.
Overigens is het vaak lastig vast te stellen hoe geavanceerd ze eigenlijk zijn. De terminologie biedt soms houvast, maar vaak blijft vaag hoe slim software nou echt is.

Artificiële intelligentie

Wat er wel en niet onder AI wordt gerekend, is niet strak gedefinieerd. De term wordt soms zo ruim toegepast, dat ieder programma dat zelfstandig een of andere beslissing neemt al AI wordt genoemd.

Gebruikt iemand de term ‘machine learning’, dan betekent dat, dat de software ook leert van de uitkomsten van zijn beslissingen. Maar ook daar zit veel ruimte in: in zelfrijdende auto’s wordt ‘machine learning’ toegepast, maar een mailprogramma dat spam leert herkennen valt er ook onder.

‘Deep learning’ is een specifieke vorm van ‘machine learning’, waarin gebruik wordt gemaakt van neurale netten, computermodellen die uit een heleboel lagen bestaan (vandaar ‘deep’). Deze techniek is zeer geschikt voor het herkennen van complexe patronen, zoals gezichtsherkenning.

Een ‘algoritme’, ten slotte, is niks meer dan een set instructies om op basis van input output te berekenen. Dan kan gaan om zeer complexe programma’s, maar een programma dat ‘x+1 = y’ doet, is net zo goed een algoritme.

Generatief

Een vroeg voorbeeld van algoritmisch componeren is de manier hoe Brian Eno zijn allereerste ambient maakte. Voor een aantal nummers op ‘Music For Airports’ (1978) gebruikte hij een systeem van tapeloops van verschillende lengtes die hij tegelijk afspeelde. Ze overlapten nooit op precies dezelfde manier, waardoor er nooit twee keer eenzelfde mix van geluiden optrad. Eno had geen wiskundige formule en liet het gewoon gebeuren, maar dezelfde methode vond later zijn weg naar de computer.

Begin jaren 1990 werkte hij met het softwarepakket Koan en bedacht er de term ‘generatieve muziek’ voor. Muziek, gegenereerd door een systeem, die constant veranderde en nooit hetzelfde was. Iets wat toen nieuw en bijzonder was (en waarschijnlijk de nodige rekenkracht vereiste), maar tegenwoordig voor iedereen beschikbaar is als plug-in in een webbrowser.

Het verhaal van de mogelijkheden van AI loopt parallel aan die van technologische innovaties, opgestuwd door de steeds krachtiger wordende computerprocessoren en, zeker de laatste tien jaar, de enorme hoeveelheden digitale data die overal gegenereerd worden.

Al die gegevens vormen een onuitputtelijke bron ‘trainingsdata’ voor ‘machine learning’-programma’s, die er patronen in leren te herkennen. Hebben ze die patronen eenmaal doorgrond, dan gebruiken ze die kennis vervolgens om voorspellingen te doen, of nieuwe data te genereren.

Om een muziekvoorbeeld te geven: in 2016 publiceerde het bedrijf FlowMachines, een samenwerking tussen Sony en de Parijse universiteit UPMC, het programma DeepBach, een ‘stuurbaar model voor het genereren van Bach-koralen’. FlowMachines trainde het programma op de partituren van 400 oorspronkelijke koralen van Johann Sebastian Bach, waarna het met een druk op de knop nieuwe Bach-achtige composities ophoestte.

Hetzelfde bedrijf kreeg kort daarna veel aandacht met het Beatles-achtige liedje ‘Daddy’s Car’, her en der uitgeroepen tot ‘de eerste AI-popsong’. Een beetje misleidende kop, want hoewel het programma de compositie schreef, was er een mens voor nodig om het nummer te arrangeren en van tekst te voorzien.

Iets wat niet alleen geldt voor FlowMachines: bij alle hypeverhalen van het type ‘AI doet X!’ blijft vaak buiten beeld dat het mensen zijn die de dataset kiezen om mee te trainen, dat het mensen zijn die het trainingsmodel ontwerpen, dat het mensen zijn die het trainen overzien en dat de output vrijwel altijd door mensen wordt bewerkt. Allemaal dingen die invloed hebben op het resultaat.

U zegt?

Wat betreft de teksten: het automatisch genereren daarvan stelt programmeurs voor hele andere uitdagingen. ‘Natural language processing’ is een discipline waar vooral wordt gewerkt aan dingen als chatbots en virtuele assistenten als Siri (Apple) en Alexa (Amazon).

Maar af en toe waagt iemand zich ook aan songteksten. Zoals de AI van de comedy/tech-start-up (het bestaat!) Botnik Studios, die eerder verantwoordelijk was voor een Coachella-poster met louter nepbands en het verhaal.

Botniks AI schreef de tekst voor het countrylied ‘You Can’t Take My Door’, een van de nummers op het binnenkort te verschijnen album ‘The Songularity’. En na te zijn getraind op Amazon-recensies van het fitnessprogramma P90X én teksten van Morrissey, kwam hij met ‘Bored With This Desire To Get Ripped’ op de proppen. Een stuk frisser dan sommige recente uitspraken van de zanger.

Karakterloos

Een van de redenen waarom met name op ‘deep learning’ gebaseerde technologieën opeens zo’n vlucht namen, was dat Google in 2015 de softwarebibliotheek TensorFlow gratis beschikbaar stelde. Daarmee werden de complexe berekeningen die nodig zijn voor het maken van modellen voor veel programmeurs toegankelijk.

In de periode daarna verschenen er snel steeds meer programma’s en diensten die met AI kant-en-klare muziek genereerden, vaak letterlijk met één muisklik en klaar terwijl u wacht. Voor iedereen die Hans Zimmer niet kan betalen, genereren Amper en AIVA pianomuziek en orkestrale soundtracks op aanvraag.

De start-up Boomy heeft een tool voor moderne en ‘forward-thinking’ beats. HumOn is een app die je eigen gehum automatisch omzet in complete r&b-ballad, Melodrive Indie produceert met een druk op de knop ‘meeslepende sountracks’, JukeDeck afficheert rechtenvrije AI-muziek voor onder je video’s, Mubert muziek op maat om bij te studeren, en LnH is een AI-band die metal-, blues- en jazzverzoeknummers maakt als je het aardig aan zijn Twitter-account vraagt. Het is soms verbazend knap wat eruit komt, zeker op het eerste gehoor

Maar wat na een avondje AI-diensten surfen opvalt, is dat het allemaal toch een beetje, wel, artificieel klinkt. Een voor de hand liggende verklaring is dat de meeste programma’s simpele softwaresynths gebruiken. Maar veel belangrijker is het gebrek aan karakter in de output. Geen nuances, geen flair, simpel geluid – geen van de programma’s blijkt in staat om op zichzelf iets te maken dat eigen klinkt.

Dat de muziek van bijvoorbeeld Herndon en Cunningham daar niet onder lijdt, is omdat ze het werk van hun AI in de context van hun eigen werk plaatsen. Muzikaal gezien is het voor hen een nieuwe bron van onvoorspelbare geluiden, in zekere zin op gelijke voet met het gebruik van found sounds. Uiteindelijk heeft de menselijke editor het laatste woord, en is het haar of zijn idee waar het eindproduct uitdrukking aan geeft.

Autonoom

Desondanks blijkt het idee een AI te kunnen voeden met het complete oeuvre van een overleden artiest – zeg Jimi Hendrix – waarna het ding ‘nieuwe’ kant-en-klare composities à la Jimi uitspuugt niet alleen maar fantasie.

Het Amerikaanse duo Dadabots doet precies dat: met behulp van SampleRNN, een ‘machine learning’-model dat vrijwel zonder sturing rauwe audiobestanden ophoest, creëren ze instantmuziek. Het resultaat is een Bandcamp-pagina vol gegenereerde punk-, metal- en math-rockalbums op basis van de muziek van bijvoorbeeld NOFX, Don Caballero en Battles.

Het trainingsmateriaal is meestal nog redelijk herkenbaar, maar dan verhaspeld tot een soort cut-ups met aan de lopende band onverwachte overgangen. Het toont aan hoe belangrijk de verschillende structuren binnen een rocknummer zijn: de opbouw van een lied, de herhaling van het refrein, het toewerken naar een climax. Het toont aan hoe belangrijk de overkoepelende structuur en het kunnen anticiperen van op veranderingen zijn voor een rocknummer.

Een tekortkoming van dit type modellen is dat ze vaak slecht in staat zijn input op meerdere tijdschalen tegelijk te analyseren. Wat er binnen één maat gebeurt, herkennen ze vaak wel, maar iets als de spanningsboog van het hele nummer ontgaat de software veelal. De gegenereerde nummers lijken zomaar ergens te beginnen, nergens heen te gaan, en op een willekeurig moment weer op te houden.

Dadabots begreep dat zelf ook, getuige hun pièce de résistance Relentless Doppelganger: een YouTube-kanaal dat 24/7 onafgebroken, door AI gegenereerde death metal livestreamt. De software werd getraind op het oeuvre van de Canadese technische deathmetalband Archspire en brengt een maalstrom van riffs, grunts en blastbeats voort die constant verandert, en net zo doelloos als hallucinant is.

Herkauwen

Meer nog dan anderen legt Dadabots een essentieel punt bloot: AI’s maken gebruik van modellen die zijn afgeleid van bestaande, door mensen gecomponeerde muziek. Ze leren patronen herkennen in bestaande muziekstukken en maken daar vervolgens een statistische variatie op.

Je zou kunnen beargumenteren dat iedere puber die een gitaar oppakt en een deathmetalnummer probeert te schrijven, onvermijdelijk voortborduurt op alle Morbid Angel en Obituary-platen waarmee hij opgroeide. En dat een model gevoed met diezelfde platen, in wezen hetzelfde doet.

Maar daar waar de menselijke artiest waarschijnlijk zijn best doet om iets eigens toe te voegen en vooral níét te klinken zoals zijn invloeden, creëert het algoritme iets dat juist wél moet lijken op dat waarvan het verteld is dat het death metal is. Wat er ontstaat is een soort gemiddelde versie; de weergave van geabstraheerde patronen.

Dit type software is creatief in de zin dat het iets maakt dat daarvoor nog niet bestond. Maar tegelijk kan worden gesteld dat het niet iets werkelijk nieuws maakt, omdat het dat, op zoek naar een grote gemene deler, helemaal niet probeert. ‘We leggen er onze eigen waarden in,’ zei Holly Herndon.

Dat is ook waar in meer letterlijke zin: hoe meer een model getraind wordt op muziek die de programmeur kiest, hoe meer de output daar een afgeleide van wordt. In zeker zin is Herndons Spawn in zijn huidige, ‘kinderlijke’ fase misschien wel creatiever, of in ieder geval onvoorspelbaarder dan een doorgetrainde, ‘volwassen’ AI.

Moraliteit

Wat onvermijdelijk de vraag doet rijzen: Kunnen computers überhaupt creatief zijn? Filosofen uit de hoek van het computationalisme hangen het idee aan dat ook het menselijk brein gezien moet worden als een informatieverwerkingssysteem.

Met als implicatie dat als de mens creatief kan zijn, dat dan ook voor computers moet gelden, omdat ze in wezen hetzelfde doen. Maar mensen streven ernaar hun invloeden te overstijgen, daar waar een AI niet verder kan komen dan dat wat hem gevoerd is.

De Amerikaanse filosoof Sean Dorrance Kelly stelt dat algoritmes per definitie niet creatief kunnen zijn, omdat een luisteraar in staat moet zijn muziek te interpreteren als een reactie op de geldende normen – wat vereist dat de maker een moral agent is: in staat tot moreel handelen. Iets waar een computer niet toe in staat is.

Als de creativiteit ergens zit, is het bij hen die de software maken: AI-experts, data-analisten, softwareprogrammeurs. Een vakgebied dat zo hot is, is er bij uitstek een waar de creatieveling probeert weg te denken van de heersende paradigma’s.

Ook programmeurs zijn op zoek naar nieuwe wegen, nieuwe manieren om zich te uiten. De muzikanten die in de overgangszone tussen muzikant en programmeur opereren, zijn misschien het best in staat het creatieve aspect van AI te combineren met dat van de kunstenaar.

Het Engelse elektronica-duo Autechre schrijft tegenwoordig net zo goed muziek als software die hen helpt muziek te genereren. Die software is naar eigen zeggen niet overdreven ingewikkeld – in een interview met ‘Resident Advisor’ uit 2016 vergeleken ze het met een ‘slechte computerspel-AI’ – maar goed genoeg voor hun doeleinden.

En goed genoeg om te claimen dat ze de aanwezigheid ervan voelen als een derde entiteit in de band. Als een van de weinigen benoemen ze de relatie tussen mens en machine als een gelijkwaardige.

Apocalyps

Uiteraard is men niet alleen op zoek naar nieuwe geluiden of aan het verkennen wat het betekent om mens te zijn in een technologische wereld. Muziek is ook business. En na jarenlang het onderspit te hebben gedolven tegen technologische innovaties als de mp3, iTunes en streaming moet het voor platenmaatschappijen een aantrekkelijk idee zijn om met een druk op de knop een nieuw album te kunnen genereren.

In maart van dit jaar tekende Warner Music een deal met Endel, een bedrijf met gelijknamige app die middels algoritmes gepersonaliseerde ‘geluidsomgevingen’ maakt, om te helpen focussen en ontspannen. Warner is er blijkbaar van overtuigd dat er via traditionelere kanalen dan apps ook nog markten te bereiken zijn en sloot een deal voor twintig albums, uit te brengen via iTunes en Apple Music.

Daarbij gaat het adaptieve van de Endel-app verloren – blijkbaar ziet Warner er geen bezwaar in dat mensen zelf kiezen welk album er bij hun gemoed past. Wat overblijft, is ouderwetse slaapverwekkende ambient. Niet gepersonaliseerd, maar misschien is dat maar beter ook. Endel zwijgt over wat ze, naast het afstemmen van de muziek op de gebruiker, nog meer doen met de via ‘wearables’ verzamelde biodata, zoals hartslag. In hun communicatie komt veelvuldig het woord ‘personalisatie’ voor.

Een woord dat sociaal psychologe Shoshana Zuboff in haar boek ‘The Age Of Surveillance Capitalism’ kenmerkt als ‘camouflage voor agressieve extractiewerkzaamheden die de intieme diepten van het dagelijks leven ontginnen’.

Endel mag erover zwijgen, het is niet ondenkbaar dat de ‘persoonlijke geluidservaring’ de magere prijs is voor het ongemerkt afstaan van biodata aan de profileringsindustrie.

Slaapverwekkende ambient

Ook de zogenoemde ‘recommender systems’ waarin AI een rol speelt, combineren personalisatie met het extraheren van persoonlijke data. Spotify lanceerde in maart van dit jaar algoritmisch gepersonaliseerde playlists, die nog een stap verdergaan dan hun succesnummer Discover Weekly, en ook de tijd van de dag meeneemt in de berekeningen. Uniek voor iedere luisteraar en volledig op maat.

Net als de advertenties in een nieuwe gratis versie waar Spotify aan werkt: het experimenteert met de mogelijkheid om net als liedjes ook advertenties te kunnen skippen, tot je er een hoort die je interessant vindt. Een droom voor profilers en advertentieverkopers.

In hoeverre Warners stap navolging gaat vinden, moet blijken. Vooralsnog is de kwaliteit van gegenereerde muziek simpelweg te gering om te hopen dat een AI in zijn eentje de top 40 gaat bestormen. En de vraag is of dat snel gaat veranderen.

Gevraagd naar de matige muzikale kwaliteiten van AI zei muziekindustrie-consultant Mark Mulligan in een artikel in ‘The Guardian’: ‘Zolang een muziekstuk de juiste balans heeft in het gewenste instrumentarium, genoeg aangename akkoordenschema’s en een gepaste hoeveelheid builds en breaks, is het goed genoeg.’ Als dat het ambitieniveau is, zal de AI-apocalyps in de muziekwereld nog wel even op zich laten wachten.

Meer technologienieuws? Schrijf je in op onze nieuwsbrief!

Nog meer nieuws krijgen over muziek en kunst?

Schrijf je in op de Gonzo (circus)-nieuwsbrief!