Analyser ses logs pour trouver les failles de son site

Google envoie ses robots dans les 4 coins du web et l’on estime qu’il parcourt plus de 20 milliards de sites par jour.
Et il est plus que probable que votre site en fasse partie. Vous pouvez bien entendu retrouver cette information sur votre interface Google Webmaster Tools, cependant, entre le décalage des données et le manque de détails, difficile de tirer une réelle analyse de ces chiffres.

Activités des robots Google

Lorsque Google passe sur votre site, il se balade de liens en liens, vous consacrant un laps de temps plus ou moins réduit en fonction de certains critères. Durant son passage, il analyse chacune de vos pages et remet à jour son index en fonction des éléments trouvés. L’idée est qu’il passe sur l’ensemble des pages de votre site tout en tachant de passer régulièrement sur vos pages fortes et en évitant de se perdre sur des pages en erreur ou en doublon.

Comment vérifier ce que fait Google sur mon site ?

Rien de plus simple : Analyser vos logs !
Que ce soit sur un serveur dédié ou mutualisé, ces fichiers restent bien souvent accessible.
Mais une fois que vous les avez, que faire ?
Il existe des solutions qui permettent d’extraire les informations qui nous intéresse (la trace de Google) du type Glogg.
En complément, il est possible de mettre en place web permettant de synthétiser rapidement ces informations : Watussi Box

Vous pourrez donc aisément découvrir les pommes pourries de votre site (toutes les pages nuisibles : 404, duplicate, …) et tenter de bloquer l’accès à celles-ci. Il est évident que vous trouverez un paquet de failles qui vous montreront que Google les découvre à tous les coups. Plus le crawl des robots sera propre, meilleure sera votre indexation, et mieux sera la prise en compte de vos pages !

Au final, avec un bon crawler et un bon analyseur de logs (Botify pour ne citer que lui malgré un prix élevé), vous devriez pouvoir présenter un site propre, sans doublons de balises, sans duplications, sans erreur 404 et avec un minimum de redirections !

Il est possible de tirer encore beaucoup d’informations, mais pour cela, faites appel à Mr SEO 🙂