Comments on Je véronise...: Rétroingéniérie de Google Trends (1)

sid, un petit lien pour justifier cette remarque (...

2008-03-12T07:07:00.000+01:00

sid, un petit lien pour justifier cette remarque (d'autant que justement c'est sur des mots-clés de référence anglais que je travaille) ? En regardant très rapidement, leurs données me permettent d'estimer qu'un foo correspond environ à 2000 recherches par semaine, ce qui semble effectivement un peu sous-évalué.

Je suis aussi tombé sur GTrends made easy qui prétend fournir une approximation du nombre de recherches sur des mots-clés, on va voir ce que je peux tirer de leurs données.

Wordtracker est un outil principalement anglophone...

2008-03-12T00:07:00.000+01:00

Wordtracker est un outil principalement anglophone, les estimations sur les mot clés fr seront erronées et non significatives.

Tiens tiens, des estimations de nombres de recherc...

2008-03-11T08:58:00.000+01:00

Tiens tiens, des estimations de nombres de recherches sur certains mots-clés sont disponibles sur http://freekeywords.wordtracker.com/

Je regarde dès que possible si elles sont cohérentes avec mes chiffres et me permettent de préciser la valeur du foo...

Tout s'explique alors ;-)Bon maintenant reste à sa...

2008-03-10T16:36:00.000+01:00

Tout s'explique alors ;-)
Bon maintenant reste à savoir l'échelle.
Pour cela c'est faisable : il suffit de trouver qqun qui est premier sur un mot clé (dans toutes les langues si possible) et lui demander ses stats de visiteurs en provenance de Google. Après, on connait le pourcentage d'internautes qui ne cliquent que sur le premier résultat. Et on devine le nombre de recherches totales, et donc l'échelle en "foo" :)

Ohoh, joli PS, tu me pousses dans mes derniers ret...

2008-03-10T16:09:00.000+01:00

Ohoh, joli PS, tu me pousses dans mes derniers retranchements ! C'est une remarque très intéressante, parce qu'effectivement si on regarde simplement les max ça ne semble pas marcher : sur la courbe par mois en comparant avec "gun", le pic de Kosovo semble beaucoup plus bas que Bruni.

Mais ceci a une autre explication (et c'est super que tu m'aies fait réfléchir à ça), c'est la discrétisation de la courbe. Si on la considère sur une année, j'ai l'impression qu'il y a 51 segments dans la courbe, c'est à dire que chaque point correspond à une semaine. Si tu compares les courbes Bruni/Gun en 2007, et Kosovo/Gun en 2008, tout va bien, elles ont encore la même hauteur.

Mais dès lors qu'on passe au zoom sur un mois, chaque point correspond à une journée. Là tu te rends compte que certes le pic de Kosovo semble plus bas, mais il est plus large que celui de Bruni. Ainsi ça explique qu'en sommant sur 7 jours pour obtenir une semaine, on tombe sur la même valeur pour les courbes annuelles, et les courbes 2004-2008.

En résumé : attention au passage année -> mois. Pour être tout à fait rigoureux j'aurais dû définir le foo en précisant que c'était une valeur de proportion par rapport au nombre de recherches Google pendant une semaine.

Je suis même un peu approximatif en parlant de somme (2 paragraphes au-dessus en gras). En effet, la valeur de la courbe sur une semaine ne correspond pas exactement à la somme des valeurs sur les 7 jours à cause de cette histoire de proportion. Si un mot est cherché n1 fois lundi, n2 fois mardi... n7 fois dimanche, et que le nombre total de recherches sur chaque jour est t1 pour lundi, t2 pour mardi... t7 pour dimanche, faire la somme reviendrait à calculer n1/t1 + n2/t2 + ... + n7/t7.

Or il est naturel que Google propose les vraies proportions par semaine, c'est à dire : (n1+n2+...+n7)/(t1+t2+...+t7), qui certes doit s'approcher de l'expression précédente, en admettant que t1, t2, ... t7 sont très semblables (il y a à peu près autant de recherches Google chaque jour de la semaine).

Un peu plus, mais pas encore à 100%Il faudrait que...

2008-03-10T15:25:00.000+01:00

Un peu plus, mais pas encore à 100%
Il faudrait que Google nous sorte une API pour son google trends, qu'on puisse faire ce genre de calculs de manière plus automatisée ;)
Je reste aussi convaincu que l'axe des abscisses ne correspond pas à 0 recherches, mais plutôt à un nombre relativement petit (genre 10000).

PS : je vois que le pic de Carla Bruni (décembre 2007) correspond au pic du Kosovo (février 2008) pour ces 12 derniers mois. Est-ce qu'en reprenant tes calculs juste pour ces deux mois là, en comparant avec knife ou autre, ça corrobore tes dires ?

@tomhtml : je ne suis pas d'accord avec le premier...

2008-03-10T15:00:00.000+01:00

@tomhtml : je ne suis pas d'accord avec le premier argument. Voilà mon avis : sur la courbe, 0 pixel en ordonnée correspond effectivement à 0 recherche. En revanche une hauteur de 113 pixels correspond toujours au maximum du nombre de recherches sur la période ciblée (donc effectivement il y a un changement d'échelle selon la hauteur du buzz). Je m'explique avec l'excellent exemple du Mac Air ;) :
- courbe de 2004 à 2008 : effectivement la courbe est très basse avant 2008 (2 pixels de haut), en comparant avec knife je trouve un pic à 70 pixels soit environ 35 foo pour 2008, en revanche avant 2008, les 2 pixels correspondent à environ 1 foo (ce qui est confirmé par la comparaison foolin/mac air qui ont des niveaux semblables avant 2008).
- courbe en 2008 : Mac Air atteint presque le niveau de knife (100 pixels au lieu de 113, c'est à dire 88%), mais attention, le max de knife en 2008, atteint le 1° janvier, est inférieur au max de knife de 2004 à 2008 ! Si on mesure sur la courbe de 2004 à 2008 la valeur de knife au premier janvier, on trouve 73 pixels soit 40 foo. Maintenant, sur la courbe de 2008, 88% fois 40 foo = 35 foo... ce qui correspond à la valeur trouvée sur la courbe de 2004 à 2008 !!!
- courbe en 2007 : on utilise la courbe de fooling en 2008 pour calculer qu'au 1° janvier 2008, fooling est à 0,5 foo environ. Or on voit sur la courbe de comparaison en 2007 que Mac air est en moyenne deux fois plus grand que fooling, soit 2*0,5 foo = 1 foo, à nouveau on retombe sur la valeur estimée avec la courbe de 2004 à 2008 !

Alors, convaincu ;) ?

Bonjour,Tout d'abord, oui, les résultats ne sont p...

2008-03-10T14:16:00.000+01:00

Bonjour,
Tout d'abord, oui, les résultats ne sont pas fiables, car très variables. J'en ai fait la malheureuse expérience en suivant jour après jour certains buzz via cet outil.

Ensuite, l'analyse se base sur deux choses dont je ne suis absolument pas certain qu'elles soient exactes :
- l'axe des ordonnées commencerait à 0 'foo'. => non, la preuve, certaines requêtes très recherchées connaissent un jour un pic incroyable (exemple : "air", avec mac air). Résultat, sur la période précédent la sortie du joujou d'Apple, le mot "air" est proche de zéro. Alors que c'est faux (on le voit quand on choisit une année en particulier).
- l'échelle est toujours la même. ==> Je pense, à mon humble avis, que l'échelle varie en fonction de la requête : très petite pour le gros buzz, très grande pour les mots qui varient à peine. C'est pour mieux voir les variations de fréquences de recherches.
L'analyse faite ici est sans doute l'une des meilleures qu'il m'ait été donné de lire, mais pas fiable. Non pas dû au travail d'analyse, mais à l'outil utilisé ;)

Bonjour,Intéressant comme démonstration.Ce que je ...

2008-03-10T12:26:00.000+01:00

Bonjour,

Intéressant comme démonstration.

Ce que je vous propose c'est de discuter en privé - jeanmichel @ gmail.com - afin de trouver la valeur du "foo" nous devrions pouvoir nous baser sur les impressions de publicités "adwords" sur un terme précis.

Quelles légendes ?Si vous parlez de celles des ima...

2008-03-10T11:23:00.000+01:00

Quelles légendes ?

Si vous parlez de celles des images liées depuis les mots fooling, separating, filming... c'est vrai qu'il y a une ambiguité : la courbe du dessous est celle correspondant au premier mot du nom de fichier (la courbe bleue de http://philippe.gambette.free.fr/Blog/GoogleTrendsScale/BetterScale/05KnifeMuscle.png est celle de "knife"). Ceci dit je n'ai rien effacé moi-même, c'est juste Google qui n'inclut pas la légende des couleurs dans ses images mais la met au-dessus de l'image, en HTML. Je vais les ajouter pour plus de clarté.

Votre travail est tres interessant.Une remarque vo...

2008-03-10T11:10:00.000+01:00

Votre travail est tres interessant.
Une remarque votre post serait plus lisible si vous laissiez les legendes des courbes.