Hoe SEO ‘ranking factor’-studies correct interpreteren

different_rocketsElk vooraanstaand online marketingbedrijf publiceert dezer dagen een eigen onderzoek naar welke factoren de positie van een resultaat in de zoekmachines zouden beïnvloeden. De laatste telg is die van Search Metrics, een Duits bedrijf met een tool die de laatste jaren furore heeft gemaakt op de search-markt en dan ook welverdiend de European Search Award 2013 voor beste SEO-software gewonnen heeft. Gründlichkeit muss sein. Zo ook dus in hun onderzoek naar de search engine ranking factors, editie 2013 / juni.

Ik deel enkele interessante bevindingen en wil vooral enkele belangrijke bemerkingen rond interpretatie van zulke ‘Ranking factor’-studies maken.

TL;DR

pointless-life-pointless-improvement-futile-hammy-demotivational-posters-1336087103Eigenlijk wil een correlatiestudie niets zeggen, behalve dat bepaalde factoren meer voorkomen op pagina’s in topposities en tezelfdertijd die factoren minder voorkomen op pagina’s in lagere posities. Het gevaar is dat we daardoor kunnen concluderen dat die factoren weleens een onderdeel zouden kunnen zijn van het zoekalgoritme.

Ranking factors (post penguin 2)

Search Metrics’ vorige ranking factoronderzoek dateerde van enkele maanden geleden, maar het bedrijf besloot naar aanleiding van de langverwachte penguin 2 update, hun studie opnieuw uit te voeren. De infographic vind je hieronder, en het volledige PDF-rapport met wat meer detail en duiding rond de cijfers. De oorspronkelijke aankondiging met af en toe wat inzichtsvolle commentaren daar.

Dus de volledige analyse met besluiten moet je maar lezen op hun blog. Ik wens jullie graag op wat anders te wijzen. Lees voort.

us_ranking_factors_2013

 

Volledig overzicht van alle positieve en negatieve correlaties

ranking_factors_us_20131

Wat is correlatie?

chickenIn Spearman’s  rank correlation coefficient, gebruikt om de correlaties bloot te leggen in deze studie, impliceert een score van +1 een perfecte positieve correlatie, en -1 een perfecte negatieve.

Spearman’s correlatie neemt 2 (onafhankelijke X en afhankelijke Y) variabelen in rekening met elkaar. Als Y lijkt te stijgen als X stijgt, dan spreken we van een positieve correlatie. Wanneer Y lijkt te dalen terwijl X stijgt, spreken we van een negatieve correlatie.

Dus als de ranking daalt (Y) omdat lager gerangschikte pagina’s meer adsense ads (X) hebben dan hoger gerangschikte pagina’s dan is er tussen X en Y een negatieve correlatie. Als de rankings stijgen (Y) omdat hoger gerangschikte pagina’s meer Google+ shares hebben dan lager gerangschikte pagina’s, dan is er een positieve correlatie tussen de 2 variabelen.

Wanneer is er sprake van correlatie?

  1. Elementen met een hoge correlatie hebben niet noodzakelijk het meeste impact op rankings. Het typische correlatie != causatie verhaal.
  2. Elementen met een zeer lage correlatie (bvb 0,06 en minder) zijn niet noodzakelijk waardeloos en kunnen wel impact hebben op rankings!
Een hoge positieve correlatiecoefficient voor een factor (bvb. google+ shares) komt voor als hoger gerankte pagina’s die factor hebben, of méér van die factor hebben terwijl tezelfdertijd lager gerankte pagina’s die factor niet of minder hebben.

Lees deze zin hierboven nog eens opnieuw, want dit is heel belangrijk om het verhaal goed te interpreteren.

Wat wil een laag correlatiecijfer ons zeggen?

Dus als een factor als “een zoekwoord in de H1” een zeer lage correlatie (0,03) heeft, is dat omdat ze aanwezig is op bijna alle pagina’s, of ze nu hoog of laag ranken. In dit geval is de Spearman correlatie zeer laag of nul. Zowel hoger gerangschikte pagina’s als lager gerangschikte pagina’s gebruiken deze factor even veel of even weinig. Vandaar dat er niet kan gezegd worden dat deze factor een mogelijke indicatie is voor hogere rankings.

google-analytics-site-speed-load-times

Hetzelfde met “Sitespeed” (0,04), als je het cijfer verkeerd zou interpreteren zou je kunnen concluderen dat site speed niet of marginaal belangrijk is als ‘ranking factor’. Nogmaals is dit een verkeerde conclusie. Het wil zeggen dat zowel hoger gerankte websites als lager gerankte websites even veel of even weinig deze factor hebben. Dus is de correlatie onbeslist: zeer laag of nul. En dit terwijl Matt Cutts dit jaar in een panel gesprek op SMX duidelijk aangaf dat SiteSpeed je website een “SEO edge” kan geven.

Dit wil zeggen dat faktoren met een zeer laag correlatiecijfer of nul, beslist niet mogen genegeerd worden. Er is namelijk geen enkel bewijs dat deze faktoren niet zouden meehelpen in de rankings.

Social signals een ranking factor?

Het blijft een zeer opvallend punt dat alle social ranking factoren een hoge correlatie vertonen met betere rankings.

Meer facebook shares, meer tweets, meer google+ (alle oranje balkjes hierboven) komen meer voor op hoger gerangschikte pagina’s, terwijl ze terzelfdertijd veel minder tegenkomen op lager gerangschikte pagina’s. Ze staan dus bijna lijnrecht tegenover elkaar, vandaar de uitgesproken positieve correlatie.

Maar spelen ze een rol? Matt Cutts confirmeerde nog vorig jaar dat ze weldegelijk een rol spelen en dat ze ook (meer gaan) kijken naar de reputatie van de auteur (AuthorRank).

authorrank

Er zijn nog veel open vragen rond de impact van social op rankings, maar logisch redeneren geeft alvast aan dat een verhoogde sociale media interactie een belangrijke meerwaarde is in je merk- en klantbetrokkenheidsverhaal. Als je het al niet doet voor ‘SEO’, doe het dan voor je doelgroep. Moz legt het haarfijn uit in haar ‘Your guide to social signals‘.

Ervaring in plaats van correlatiestudie?

Eigenlijk wil een correlatiestudie niets zeggen, behalve dat bepaalde factoren meer of net minder voorkomen op pagina’s in topposities en terzelfdertijd die factoren minder voorkomen op pagina’s in lagere posities. Het gevaar is dat we daardoor misschien kunnen concluderen dat die factoren weleens een onderdeel zouden kunnen zijn van het zoekalgoritme.

Een bekend voorbeeld is de correlatie in de 20e eeuw tussen het voorkomen van kanker en het aantal antennes op de daken van de huizen: beide namen gedurende enkele decennia sterk toe (uitgesproken positieve correlatie), maar er was geen enkel bewezen oorzakelijk verband.
Een (significante) correlatie drukt dus niet noodzakelijk ook een oorzakelijk verband uit. Stel dat er een verband wordt gevonden tussen verhoogde agressiviteit bij kinderen en het aantal uren dat ze naar TV kijken. Dan is daarmee niet bewezen dat kinderen “agressief worden” van het televisiekijken. Net zo goed kan men beweren dat kinderen die in aanleg meer neigen tot agressiviteit ook vaker het televisiekijken als vrijetijdsbesteding kiezen. Er is in dit geval dus slechts sprake van een statistisch verband, en niet van een oorzakelijk verband.

Daarom kan data van honderden ervaringsdeskundigen wellicht/soms/misschien een juister beeld scheppen van wat nu de echte ‘ranking factors’ zijn. Want de titel van Search Metrics’ correlatiestudie, ‘2013 Ranking Factors’, is behoorlijk misleidend.

De 2-jaarlijkse survey van Moz bij SEO’s is in mijn ogen toch een belangrijke(re) studie om naar uit te kijken. Gebaseerd op de mening en ervaring van tientallen getalenteerde SEO’s.

Is Spearman’s rank correlatie wel de juiste methode?

In een andere Google Ranking Factor studie, die ik julie niet wil onthouden, …

top-10-factors-netmark

… wordt haarfijn uitgelegd waarom de Spearman Rank Correlation methode helemaal niet de juiste methode is om correlatie bloot te leggen tussen rankings (= ordinaalgetallen) en dichotome variabelen (Ja of neen, 0 of 1. Zoals “keyword in domain name” dat is). Hiervoor is de preferable methode de Rank-Biserial.

Spearman is wel de juiste methode om correlatie bloot te leggen tussen 2 ordinaalgetallen (rangordes).

 

Is 0,4 eigenlijk wel een sterke correlatie?

De Universiteit van Leiden legt het zo uit:

R R2 (afgerond) Verklaarde variantie Interpretatie kracht verband
< 0,3 < 0,1 < 10% zeer zwak
0,3 – 0,5 0,1 – 0,25 10 – 25% zwak
0,5 – 0,7 0,25 – 0,5 25 – 50% matig
0,7 – 0,85 0,5 – 0,75 50 – 75% sterk
0,85 – 0,95 0,75 – 0,9 75 – 90% zeer sterk
> 0,95 > 0,9 > 90% uitzonderlijk sterk (suspect!)

 Wees niet goedgelovig

U beslist wat te doen met deze correlatiestudies ofte ‘Ranking Factors’…

the-fool

 

 

 

Comments are closed.