Indexation Google : comprendre et maîtriser le crawl

Vous avez déjà vu cette ligne dans Search Console : « Détectée, actuellement non indexée ». La page existe. Elle répond. Elle est même plutôt bien écrite. Et pourtant, Google l'a vue passer et l'a laissée sur le bord de la route. Ce message-là, je l'ai découvert sur un site client en 2023, sur 47 URLs d'un coup, et j'ai mis deux semaines à comprendre que le problème ne venait pas du contenu mais du crawl.

Comprendre l'indexation Google, c'est d'abord accepter une chose : Google ne voit pas votre site comme vous. Il envoie un robot, il lit ce qu'il peut lire, il décide ensuite quoi garder. Entre ces deux moments, il y a une mécanique précise que la plupart des articles survolent. On va la démonter.

Comprendre le crawl et l'indexation Google : la chaîne que tout le monde confond

On m'a posé la question en formation la semaine dernière, et j'ai réalisé que ma propre explication était bancale. « Le crawl, c'est quand Google indexe mon site ? » Non. Pas du tout. Ce sont deux opérations séparées, parfois à des semaines d'intervalle.

C'est quoi l'indexation Google ?

L'indexation, c'est le moment où Google enregistre une page dans sa base de données et la rend éligible à apparaître dans les résultats de recherche. Concrètement, il analyse le contenu récupéré, en extrait les signaux (texte, liens, balises) et stocke le tout. Une page indexée peut être classée. Une page non indexée ne le sera jamais, quel que soit son contenu.

Et là se joue une distinction que je vois mal comprise partout :

• Crawl — le robot Googlebot découvre et télécharge le code de la page.
• Indexation — Google décide de conserver cette page dans son index, ou de la rejeter.
• Classement — parmi les pages indexées, Google choisit l'ordre d'affichage pour une requête donnée.

Une page peut être crawlée sans être indexée. C'est même le cas le plus fréquent quand quelque chose cloche. Et une page indexée peut très bien ne jamais se classer sur quoi que ce soit. Trois étapes, trois problèmes différents, trois façons de les traiter.

Quelle est la traduction de « the crawl » sur Google ?

En français, on parle d'exploration. Les anglophones disent « crawl », et le mot est resté dans le jargon SEO sous sa forme anglaise. Le « crawl SEO » désigne donc l'activité d'exploration des robots : quand Googlebot parcourt votre site de lien en lien pour découvrir les pages, récupérer leur code et le transmettre aux systèmes d'indexation.

Un détail qui m'a coûté cher au début : le crawl ne se déclenche pas sur commande. Vous ne « lancez » pas Googlebot. Il passe quand il décide de passer, selon la fréquence qu'il a mémorisée pour votre site. Un site mis à jour tous les jours sera revisité plus souvent qu'un site figé depuis huit mois. C'est mécanique, et ça change tout dans la façon de planifier une publication.

Quels sont les 3 piliers du référencement ?

La technique, le contenu, la popularité. Voilà les trois piliers. Et je maintiens que la technique arrive en premier, non pas parce qu'elle est plus noble, mais parce qu'elle est éliminatoire : un site qui ne se laisse pas crawler correctement ne verra jamais son contenu briller, aussi bon soit-il.

Le pilier technique : rendre le site explorable

C'est là que vivent le crawl, l'indexation, les sitemaps, les balises canonical et le fichier robots.txt. Un site techniquement propre se laisse parcourir sans obstacle. Un site mal fichu envoie Googlebot dans des impasses. J'ai vu un client bloquer tout son dossier /blog/ dans son robots.txt « pour éviter les doublons » — il a perdu six mois de visibilité avant de comprendre.

Le contenu et la popularité

Le contenu, c'est ce qui répond à l'intention de recherche. La popularité, ce sont les liens entrants, qui signalent à Google qu'une page mérite considération. Les deux comptent, mais aucun des deux ne sert à rien si le pilier technique est cassé. C'est pour ça que je commence toujours un audit par l'exploration avant de regarder une seule ligne de rédaction.

Diagnostiquer l'indexation dans Search Console, statut par statut

Le rapport « Pages » de Search Console est l'endroit où tout se joue. Encore faut-il lire ce qu'il raconte. Chaque statut a une cause et une correction associée.

Statut Search Console	Ce que ça signifie	Action corrective
Explorée, non indexée	Googlebot a lu la page, mais l'a jugée non pertinente ou trop proche d'une autre	Enrichir le contenu, vérifier la canonical, consolider les doublons
Détectée, actuellement non indexée	Google connaît l'URL mais n'a pas encore eu le budget pour la crawler	Améliorer le maillage interne, alléger le crawl budget gaspillé
Exclue par balise noindex	Une consigne explicite empêche l'indexation	Retirer le noindex si la page doit être visible
Page en double sans URL canonique	Google détecte deux versions et n'a pas de préférence déclarée	Poser une balise canonical claire

Sur le site évoqué plus haut, 31 des 47 URLs étaient en « Explorée, non indexée ». Cause réelle : des variantes de pages catégories générées par des filtres, dupliquées à l'identique. J'ai coupé les paramètres, posé des canonical, et trois semaines plus tard l'indexation est remontée à 71 %. Pas de miracle, juste du nettoyage.

Comment repérer un budget de crawl gaspillé

Un bot a un temps limité par site et par jour. S'il le passe à explorer des milliers d'URL sans valeur, il n'explore pas vos vraies pages. Les signaux qui ne trompent pas :

• Des URL avec des paramètres qui s'empilent à l'infini (?tri=, ?couleur=, ?page=).
• Un sitemap qui déclare des pages bloquées par le robots.txt.
• Des liens internes qui pointent vers des redirections en cascade.
• Une pagination qui génère des milliers d'URL quasi identiques.

Je vérifie ces quatre points en priorité dans un audit, avant même d'ouvrir un outil d'analyse de contenu. Statistiquement, c'est là que se cachent 80 % des blocages d'indexation que je croise.

Comment faire indexer une page sur Google

Il n'existe pas de bouton magique, mais il existe une procédure reproductible. Et elle commence par une vérification simple : la page est-elle accessible, unique, et liée depuis quelque part ?

Demander une indexation Google : utile, mais pas une solution miracle

La demande d'indexation dans Search Console fonctionne — pour une poignée d'URLs. Elle place la page en file prioritaire d'exploration. Elle ne force pas l'indexation : Google garde le dernier mot. J'ai testé sur 200 pages en une après-midi ; le quota a bloqué au bout d'une vingtaine. Pour un volume important, il faut passer par d'autres leviers : sitemap propre, maillage interne dense, et parfois un peu de patience.

Ce que je recommande concrètement :

1. Vérifiez que la page n'est pas en noindex (erreur classique lors d'un passage en production).
2. Soumettez l'URL via le sitemap XML, tenu à jour.
3. Ajoutez 2-3 liens internes depuis des pages déjà bien indexées.
4. Demandez l'indexation manuelle pour les pages prioritaires seulement.

Le piège du JavaScript

Un site construit en JavaScript pur peut voir son contenu ignoré au moment du crawl initial. Google sait rendre le JavaScript, mais c'est plus coûteux pour lui, donc plus lent. Sur un projet e-commerce, j'ai découvert que 30 % des fiches produits n'affichaient leur prix et leur description qu'après rendu JS — et que Googlebot en indexait une partie sans ces données. Ça s'est vu dans les positions, pas dans le code.

Le rendu côté serveur ou le pré-rendu règle le problème. C'est un investissement, mais j'ai rarement vu une alternative aussi efficace sur un site à forte volumétrie.

Ce qui reste quand on a tout nettoyé

La mécanique du crawl et de l'indexation s'apprend en une semaine. La maîtrise, elle, prend des années, parce qu'elle consiste à accepter que Google décide. Vous préparez le terrain, vous facilitez le passage, vous corrigez les impasses. Mais vous ne forcez rien.

Et la question que je me pose de plus en plus : à mesure que les moteurs s'appuient davantage sur des modèles capables de lire des pages mal structurées, le crawl restera-t-il le goulot d'étranglement qu'il est aujourd'hui ? Franchement, je n'en sais rien. Mais tant que ce goulot existe, une page non explorée reste une page invisible. Ça, ça ne changera pas de sitôt.