AI Songfestival: 3D-Willie Wartaal leert dansen met tiktok-dansjes

Van Financial Times tot Volkskrant, van Billboard tot BBC, van StuBru tot Trouw: het AI Songfestival van de VPRO en 3FM ging de wereld over. Gisteren was de finale, waarin dertien teams het tegen elkaar opnamen en Australië uiteindelijk won.

Het Nederlandse team Can AI Kick It componeerde met Willie Wartaal (De Jeugd van Tegenwoordig) ook een AI-track, zoals te zien in deze vijfdelige serie. En bij dat nummer ‘Abbus’ hoort natuurlijk ook een AI-videoclip. Die is er nu, en maakt op een hele toegankelijke manier inzichtelijk hoe je AI kunt gebruiken voor het maken van een videoclip. ‘We wilden een traditionele performance laten zien in de videoclip’, vertelt Chantalla Pleiter, een van de makers. ‘Dus onderzochten we: hoe laat je die performer bewegen? In welke omgeving? En hoe kunnen we AI daarvoor inzetten?’

Allereerst maakten ze een 3D-model van Willie Wartaal. ‘We hebben hem naar een bedrijfje gestuurd, daar maakte een opstelling met een heleboel camera’s om hem heen in een paar seconden zo’n model van Willie.’ Ondertussen analyseerden ze duizenden foto’s van Willie Wartaal’s gezicht, om zo ‘het perfecte Willie Wartaal-gezicht’ te genereren en op het model te plaatsen.

In dat 3D-model zit een skelet met scharnierpunten. Hoe laat je dat skelet nou dansen? Met Tiktok-dansjes natuurlijk! ‘Ik heb nichtjes die in alle hoeken en gaten dansen, de jeugd is er extreem intensief mee bezig. We vroegen kids in onze omgeving om hun dansvideo’s op te sturen. Die werden door AI geanalyseerd, en het resultaat hebben we overgezet op het 3D-model van Willie Wartaal.’

En dan nog de omgeving waarin Willie moest dansen. ‘In de stijl van Eurovisie wilden we het over de mooiste plekken van Nederland hebben. We vroegen mensen van buiten Nederland om de top 10 Google Images-hits te sturen wanneer ze naar Nederland zochten. Dan krijg je allerlei kleurrijke foto’s van bollenvelden en Amsterdam. Daar hebben we een style transfer-gen van gemaakt, zoals je ook je foto’s kunt omzetten naar de stijl van Van Gogh. De 3D-informatie van Google Streetview die bij de geolocaties van de gebruikte foto's hebben we vervolgens weer geverfd met het gen dat door AI is gecreëerd.’

Duizelt het al? Ja, hè? ‘De video eindigt met het 3D-model van Willie Wartaal die bovenop de stad danst, terwijl hij zingt: “We want revolution.” Dat staat voor de algehele angst voor nieuwe technologieën, de angst dat de mens erdoor wordt overgenomen. En op de achtergrond zie je alle "data" die op de achtergrond draait en de ai gevoed heeft.'

Veel meer over het maakproces van de video lees je bij VPRO Medialab.