De lange staart en übermeta

Wat is de relatie tussen ‘the long tail’, ‘the wisdom of crowds’ en kunstmatige intelligentie? Alledrie worden naar een hoger, voorheen onbereikbaar niveau gedragen door de netwerktechnologie van het internet. Alledrie gaan over het ontsluiten van informatie die voorheen ontoegankelijk was (“Wat vindt de massa?”), of betekenisloos door gebrek aan samenhang.

The Long Tail is de naam van een marketingtheorie die op veel meer betrekking heeft dan alleen op informatie. Volgens auteur en journalist Chris Anderson maakt internet een eind aan de distributiebeperkingen (een boekwinkel heeft maar zoveel schapruimte, terwijl Amazon alle boeken kan aanbieden). Op internet is daardoor een ongelimiteerd aanbod ontstaan, waardoor naast markten voor massaproducten ook talloze nichemarkten kunnen ontstaan. Mij gaat het uitsluitend om één specifieke massamarkt: het aanbod aan journalistieke informatie, van ‘nieuws’ dus, zij het in de hele brede betekenis van het woord.

Dat onbeperkte aanbod van informatie zou betekenisloos zijn als het niet ontsloten zou worden, geordend of tenminste geïndexeerd, en geduid, dat wil zeggen: voorzien van meta-informatie, van informatie die iets zegt over de onderliggende informatie. Dit is wat nieuwsorganisaties traditioneel doen: ze ordenen nieuws en duiden het, ze selecteren berichten – waarbij die selectie zelf al een vorm van metadatering is: het betekent iets als een bericht wel in de Volkskrant maar niet in NRC Handelsblad is verschenen – en schrijven commentaren op en analyses over dat nieuws.

De economieën van The Long Tail zouden niet kunnen bestaan als ze afhankelijk waren van deze handmatig aangebrachte meta-informatie (die we ook wel ‘redactie’ noemen). Ze zijn ontstaan omdat algoritmen op internet de beschikbare informatie vertalen: ze interpreteren links die tussen websites zijn aangebracht (dit is wat Googles PageRank doet: het betekent iets als de ene site naar de andere verwijst), ze interpreteren gedrag van consumenten (welke informatie heb ik eerder gezocht, welk boek heb ik eerder gekocht), en ze trekken conclusies uit ‘tags’, de trefwoorden die door makers en gebruikers van de primaire informatie zijn aangebracht.

De theorie van ‘the wisdom of crowds’ geeft aan de door computeralgoritmen ontgonnen meta-informatie een extra dimensie. Volgens de theorie is een grote groep willekeurige mensen onder bepaalde omstandigheden beter in staat een complex probleem op te lossen dan de beste deskundige. Hun gemiddelde schatting is vrijwel altijd nauwkeuriger dan de beste individuele schatting. Meta-informatie ontsluit dus niet alleen wat voorheen ontoegankelijk was, maar is zelf ook informatie van een hogere orde.

Dat laatste leidt tot veel interessante vragen.
Is die hogere orde ook een moreel hogere orde?
Is nieuws dat geselecteerd is door een zogeheten ‘metasite’ ook ‘beter’ nieuws?
Zijn analyses en commentaren op basis van dergelijke meta-informatie méér waar dan traditionele artikelen van een individuele redacteur?
En wat zijn de mogelijke gevolgen van het steeds populairder worden van meta-informatie? Verliest de auteur aan betekenis? Gaat zijn stem langzaam verloren?

De netwerktechnologie van internet zorgt voor de beschikbaarheid en alomtegenwoordigheid van digitale informatie – dat is The Long Tail van het nieuws. Dankzij algoritmen en rekenkracht van computers kan die informatie worden doorzocht. Daarnaast suggereert ‘the wisdom of crowds’ dat de gevonden resultaten een zekere meerwaarde hebben, van een hogere orde zijn dan het individuele nieuwsbericht was.

Dit leidt tot tenminste twee andere ‘memes’.

De optelsom van massaal gemetadateerde, digitale informatie en computeralgoritmen zou je ‘collectieve intelligentie’ kunnen noemen. Dat ligt dicht in de buurt van wat wel ‘kunstmatige intelligentie’ wordt genoemd – al valt er veel te zeggen over de verschillen tussen beide definities. Misschien is ‘kunstmatige netwerkintelligentie’ een werkbaarder alternatief.

De andere ‘meme’ heb ik de ‘metacratie’ genoemd: een samenleving die afhankelijk is van kunstmatige netwerkintelligentie, een samenleving waarin collectieve ‘kennis’ belangrijker is dan een individueel oordeel en het laatste woord aan ‘übermeta’ is.