ESNS15 Wilbert Mutsaers (3FM): “Niet te veel gewicht geven aan testpanels”

Hoe gaat het testen van de playlist in zijn werk?

Atze de Vrieze ,

Twee weken geleden publiceerde 3voor12 een uitgebreid verhaal waarover dagenlang gediscussieerd werd. De centrale vraag: hoe komt het toch dat zo weinig rappers doordringen tot onze nationale popzenders. Een van de belangrijkste discussiepunten was het zogeheten testpanel van 3FM. Oftewel: de zender vraagt - net als zijn commerciële concurrenten - aan de luisteraars wat ze eigenlijk vinden van hun platen. Maar aan wie wordt dat eigenlijk gevraagd, is die groep wel divers genoeg? En moet je überhaupt wel willen testen? Zendercoordinator 3FM Wilbert Mutsaers licht toe.

Waarom testen jullie platen?
“Simpel gezegd: meten is weten. Hoe meer informatie je hebt, hoe beter je een oordeel kunt vellen. Het is handig om aan mensen te vragen wat ze vinden, in plaats van alleen maar te gissen.” 
 
Het is niet altijd zo geweest, toch? 
“Nee. Lang geleden bestond dat onderzoek niet. Toen ik begon bij 3FM was er een tweewekelijks onderzoek. sinds drie, vier jaar is het elke week.”
 
Wat meet je?
“We meten online bij twee groepen mensen wat ze van muziek vinden. We hebben een groep waarvan we weten dat ze 3FM luisteraar zijn. De andere groep is niet 3FM luisteraar, of misschien een keertje per jaar. Dat doen we onder mensen tussen de 18 en 24, een vrij smalle leeftijdsgroep.”
 
Waarom eigenlijk, die andere leeftijdsgroepen kunnen een belangrijk verschil maken. 
“Zeker. Het is ook zo dat de gemiddelde luisteraar van 3FM ouder is dan 18-24, begin dertig gemiddeld. Dat lijkt oud, maar is nog jong voor een jongerenzender op de radio. Het is heel handig om in de jongste groep voeling te houden met wat daar leeft. We testen daar ook oude platen. De gedachte is dat 12- tot 18-jarigen een iets minder gedefinieerde muzieksmaak hebben, sowieso vrij weinig radio luisteren. Maar daar ben ik wel geïnteresseerd in hoor. Als ik meer geld zou hebben voor onderzoek, zou ik hen ook willen ondervragen.” 
 
Hoeveel mensen zijn het?
“Het zijn er in beide groepen enkele honderden. Het fluctueert een beetje, want de groepen worden steeds ververst. De ‘minimale n’ - voor de wiskundigen onder ons - is 250 per groep, dus dat zijn 500 mensen, maar liefst wel meer.”
 
Waar komen die mensen vandaan?
“Het onderzoek wordt gedaan door een onderzoeksbureau, DVJ Insights, die leggen wij voor dat we een representatieve steekproef willen. Representatief in de zin dat we zeker weten dat ze zich in die leeftijdscategorie bevinden en dat ze wel of niet 3FM luisteren. Er wordt niet op opleidingsniveau en dergelijke gewogen.”
 
In de hiphopdiscussie speelde diversiteit een rol. Zitten er ook Marokkanen of Surinamers in jullie panel?
“Die zijn er, maar er wordt niet op geselecteerd. Je kunt ook misinformatie gaan krijgen als je op te veel factoren wilt wegen. Dan ga je straks op basis van wat drie mensen willen, een conclusie trekken.”

Dan is wel de vraag: hoe gaat dat concreet. Ik hoorde eens over Amerikaanse tests waar je zes seconden hoort. 
“Het is niet zes seconden maar mensen krijgen geen hele lange nummers te horen. Ik denk dat dan weinig mensen lang in zo’n panel zouden blijven zitten. Je moet immers dertig nummers beoordelen. Wat we doen is couplet-refrein, geen raad het intro. Herken je dit nummer? Als je het herkent: zou je het vaker willen horen, of minder vaak? Dat heet de burn-out. En je mag een cijfer geven van een nummer. Bij die cijfers hoort een standaarddeviatie. Iets kan gemiddeld een 7 zijn, maar wel een een standaarddeviatie hebben van 2,5. Dat betekent dat er heel veel mensen zijn die het heel leuk vinden, en heel veel die het echt verschrikkelijk vinden. Dat is wat anders dan een plaat die iedereen ongeveer even leuk vindt.”
 
Belangrijkste vraag: wat doe je met die uitslagen?
“Eigenlijk niet zo veel. We hebben veel indicatoren. Sociale media, wat gebeurt er in het buitenland, je weegt van alles mee. Wat er uit de test komt, leg ik niet voor aan de dj’s van 3FM, die weten dat niet. De muziekredactie die bestaat uit drie mensen, ik ben daar de buitenspits bij. Wij hebben een dj-overleg op woensdag op mijn kamer. Dan kiezen we de Megahit, en we vragen de dj’s welke platen ze interessant of juist verschrikkelijk vinden. De dag erop maken we met de muziekredactie de playlist. We hebben dan de muziektest binnen, maar ook heel veel andere informatie. Als ik bij Sky Radio zou werken, zou ik alleen draaien wat gekend en populair is.”
 
Ik las van de week een lang artikel over het testen van platen. De stelling in dat stuk was dat mede door de druk van die statistieken mensen geneigd zijn om uniform te produceren, om iets te maken dat lijkt op wat al bestaat, zodat het meteen herkend wordt. Daar krijg je toch een conservatief muzieklandschap van?
“Dat klopt, en juist daarom doen wij ook niet zo veel met die cijfers, en ze ook niet delen. Ik wil niet dat de dj’s het weten. Niet een plaat komt op de playlist omdat ie getest wordt, we beginnen altijd eerst met draaien, omdat we een plaat goed of interessant vinden. We gaan niet zoals commerciële stations doen eerst testen. Bij sommige stations werkt het zo. Ze testen platen die bijvoorbeeld wij al draaien. Wij willen op gevoel platen kunnen toevoegen.”
 
Wij kregen van de week al een mail van iemand die graag in zo’n testpanel wil. Kan dat?
“Ja volgens mij wel, dan moet je je aanmelden bij dat onderzoeksbureau. Maar ik denk dat men toch voorbij gaat aan hoe het werkt. Je kunt ook op woensdagmiddag bij ons langs komen om te vertellen wat je van de muziek vindt. Er moet niet te veel gewicht aan die tests gehangen worden, in het geval van 3FM schiet je dan de discussie voorbij. Je wilt gewoon weten wat mensen van muziek vinden. Het kan er toe leiden dat je concludeert: het test slecht, dan moeten we het gewoon meer gaan draaien.”