Sitemap XML et robots.txt : rôles, limites et diagnostic
Un sitemap XML signale aux moteurs les URL que le site considère comme importantes ; robots.txt leur indique surtout les chemins qu’un robot peut explorer. Ces fichiers sont complémentaires, mais aucun ne force l’indexation : une URL envoyée dans un sitemap doit rester accessible et utile, tandis qu’une URL interdite à l’exploration n’est ni privée ni automatiquement absente de Google.
Sitemap XML et robots.txt : deux fonctions différentes
Pour « sitemap XML », le plan éditorial relève un volume de 60, une difficulté de mot-clé de 86 et un potentiel de trafic de 350 ; pour « robots.txt », un volume de 10. C’est une estimation Ahrefs Maroc, 22 octobre 2026, et non une prévision de positions, de visites, de demandes ou de chiffre d’affaires.
Un sitemap XML est une liste structurée de pages, médias et parfois de variantes linguistiques que le site souhaite rendre découvrables. Google explique qu’il peut aider l’exploration des sites grands, nouveaux ou complexes. Il s’agit toutefois d’un indice : la présence d’une URL ne garantit ni son exploration ni son indexation. Des liens internes clairs restent indispensables Google Search Central — Sitemaps.
Le fichier robots.txt est un document public situé à la racine d’une origine, par exemple https://exemple.ma/robots.txt. Ses groupes User-agent et ses règles Allow/Disallow gèrent l’accès des robots à des chemins. Google le présente surtout comme un outil de gestion du trafic d’exploration, non comme une façon certaine de retirer une page HTML de ses résultats Google Search Central — robots.txt.
Retenez ceci : le sitemap propose des URL à la découverte ; robots.txt limite l’accès à certains chemins. Une URL canonique importante ne devrait normalement pas être à la fois listée dans le sitemap et interdite à l’exploration. Le moteur ne pourrait alors pas examiner le contenu et les signaux de la page.
Choisir l’outil d’après l’état recherché
Commencez par définir le rôle de chaque famille d’URL. Souhaitez-vous faire découvrir une page d’offre ? Limiter l’exploration de filtres ou d’une recherche interne ? Empêcher qu’une page publique apparaisse dans la recherche ? Ou protéger un espace réellement privé ?
| Situation | Approche principale | Limite à garder en tête |
|---|---|---|
| Page service, produit ou article utile | URL canonique indexable dans le sitemap et liens internes descriptifs | Le sitemap ne promet ni indexation ni position |
| Filtres, sessions ou recherche interne | Architecture et règles d’exploration revues avec soin | robots.txt seul ne supprime pas un résultat existant |
| Page publique à exclure des résultats | noindex accessible au crawler, ou suppression selon le cas | Un blocage préalable peut empêcher la lecture de noindex |
| Compte client, préproduction, fichier confidentiel | Authentification ou contrôle d’accès côté serveur | robots.txt n’est pas un contrôle de sécurité |
Google avertit qu’une page HTML bloquée peut rester connue grâce à des liens externes et apparaître sous forme d’URL. La norme IETF précise également que le Robots Exclusion Protocol n’est pas une autorisation d’accès RFC 9309. Ne publiez donc jamais un chemin sensible dans ce fichier en pensant le rendre secret.
Construire un sitemap qui reflète le site à présenter
Sélectionner les URL avant de produire le fichier
Un sitemap est un inventaire choisi, pas une copie de tout ce que le serveur peut fournir. Pour chaque URL, vérifiez la réponse HTTP, l’hôte HTTPS attendu, la canonique, l’indexabilité, l’absence de redirection et l’utilité pour le lecteur. Écartez les tests, redirections, doublons techniques, résultats internes, paramètres de suivi et pages volontairement exclues.
Cette discipline s’applique aussi à chaque langue. N’incluez une page française, arabe ou anglaise que si elle existe réellement et répond à l’intention locale. Une traduction partielle ou une redirection imposée ne devient pas une bonne destination de recherche parce qu’elle figure dans le XML. Cette vérification fait partie d’un lancement ou d’une refonte pilotée en SEO au Maroc.
La structure XML requiert <urlset>, un espace de noms, un <url> par page et une URL absolue dans <loc>. Le fichier doit être UTF-8 ; les caractères réservés, dont &, doivent être échappés. <lastmod> est facultatif et doit refléter une modification significative de la page, non une régénération automatique. Google indique ignorer changefreq et priority Google Search Central — Créer et envoyer un sitemap.
Automatiser selon le cycle de publication
Les CMS génèrent souvent déjà un sitemap. Vérifiez son comportement lors d’une publication, d’une redirection, d’un passage en brouillon ou d’une suppression. L’automatisation est utile si elle suit ces changements ; sinon elle reproduit les erreurs à grande échelle.
Un fichier manuel peut convenir à un petit site stable. Pour un catalogue ou une publication fréquente, générez-le depuis les données de publication. Évitez de changer tous les <lastmod> sans évolution éditoriale réelle.
Un sitemap ne doit pas dépasser 50 000 URL ni 50 Mo non compressés. Au-delà, découpez les fichiers et utilisez un index de sitemaps. Des segments par type de page, produit ou langue aident parfois l’analyse dans Search Console ; ce n’est pas une technique de classement. Consultez le protocole Sitemaps pour les limites et la structure.
Écrire robots.txt avec retenue
Examiner le fichier réellement servi
Récupérez robots.txt sur chaque origine concernée : www.exemple.ma et shop.exemple.ma peuvent avoir des fichiers distincts. Notez les règles existantes, les chemins visés, leur raison et leur responsable. Une directive de recette oubliée ou une règle trop large peut bloquer bien plus que prévu après une migration.
```txt User-agent: * Disallow: /recherche/
Sitemap: https://www.exemple.ma/sitemap.xml ```
Cet exemple n’est pertinent que si /recherche/ n’a réellement pas de valeur d’exploration. Sitemap: indique l’adresse de la carte et peut être répété. Il ne neutralise pas Disallow et ne dispense pas de vérifier le traitement dans Search Console. RFC 9309 définit les groupes d’agents et les chemins Allow/Disallow; d’autres enregistrements, tel Sitemap, peuvent être traités séparément RFC 9309.
Tester l’effet plutôt que la syntaxe seule
Disallow: / bloque tout le site pour le groupe correspondant. Google prend en charge certains caractères de motif, mais les interprétations peuvent varier selon le robot. Gardez donc les règles courtes, liées à une intention documentée, et testez des URL représentatives.
Après publication, contrôlez la réponse de robots.txt, la carte, les pages prioritaires et des exemples de chaque dossier modifié. Consignez date, règle, responsable, objectif et retour arrière. Coordonnez avec la création de landing pages lorsque des pages de campagne sont concernées, afin de ne pas isoler une page utile.
Corriger un conflit sitemap/robots méthodiquement
Un rapport Search Console indiquant qu’une URL est « soumise mais bloquée par robots.txt » signale une incohérence, pas une explication unique à l’absence d’indexation. Vérifiez l’URL exacte : protocole, hôte, slash final, paramètres et destination après redirection peuvent modifier la règle applicable.
- Définissez l’état voulu : indexable, non indexable, privée, redirigée ou supprimée.
- Vérifiez si l’URL précise ou sa destination finale figure encore dans le sitemap.
- Comparez règles robots, canonique, directive robots meta/en-tête, statut HTTP et liens internes.
- Corrigez la source du conflit : retirez du sitemap une URL non destinée à la recherche, ou levez le blocage si le crawler doit lire la page et sa directive.
- Contrôlez de nouveau dans les outils concernés, sans promettre de délai fixe de traitement ou d’indexation.
Une page non indexée peut aussi relever de son utilité, des liens internes, d’erreurs serveur, d’une canonique, de doublons ou du rendu. Les fichiers techniques sont des contrôles dans un diagnostic, non un bouton d’indexation.
Limites et moments de revue
Un sitemap propre ne remplace ni une page utile ni une architecture de liens qui rend les contenus importants atteignables. Un robots.txt propre ne contrôle pas chaque robot et ne sécurise aucune ressource publique. La validité XML ne démontre pas qu’une URL mérite de représenter le site dans les résultats.
Revoyez ces fichiers avant et après une migration, une refonte, un changement de CMS, une nouvelle langue, une évolution de catalogue ou des règles d’indexabilité. Quand le même chantier touche contenu, parcours et mesure, une stratégie digitale peut clarifier les responsables et les vérifications sans transformer la correction technique en promesse de performance.
FAQ — sitemap XML et directives robots
Un sitemap XML garantit-il l’indexation ?
Non. Il aide à la découverte. Vérifiez également accessibilité, liens internes, canonique, indexabilité et utilité de la page.
Faut-il utiliser robots.txt pour retirer une page HTML publique de Google ?
Pas par défaut. L’URL peut rester découverte ailleurs. Choisissez un noindex accessible, une suppression ou un contrôle d’accès selon l’objectif réel.
Où déclarer le sitemap ?
Ajoutez un Sitemap: absolu à robots.txt, envoyez le fichier dans Search Console, ou faites les deux. Ce sont des signaux, pas la garantie que chaque URL sera utilisée.
Toutes les URL doivent-elles figurer dans le sitemap ?
Non. Gardez les URL canoniques, indexables et destinées à la recherche ; excluez redirections, doublons, tests, paramètres inutiles et pages écartées volontairement.