Rendre un blog découvrable par les moteurs et les agents IA
Ce blog héberge des retours d'expérience techniques, écrits en français, publiés à un rythme régulier. Une partie du trafic passe par un navigateur, mais une part croissante des lectures vient de systèmes qui ne cliquent pas : des moteurs de recherche, et des agents d'intelligence artificielle qui parcourent le Web. Pour être trouvé par les uns et lu par les autres, un site statique ne suffit pas ; il faut lui donner une structure machine-lisible. Cet article décrit le kit de découverte en place : métadonnées structurées, sitemap, fichiers llms.txt, robots.txt pour les crawlers de modèles, IndexNow, et soumissions manuelles.
Le socle : des métadonnées pour les moteurs
Chaque page porte une balise canonical (son adresse officielle), une meta description, Open Graph (type, nom du site, adresse, image) et une carte Twitter en grand format (summary_large_image). C'est ce qui produit une carte propre quand un lien est partagé, et c'est ce que les moteurs utilisent pour afficher un résultat.
Le sitemap.xml déclare chaque article avec son adresse, sa dernière modification (lastmod), une fréquence et une priorité, et pointe l'image de couverture via le namespace image. Un moteur sait ainsi quoi indexer, quelle image lui associer, et quand revenir voir si la page a changé. À chaque publication, le fichier est régénéré en entier, dans l'ordre des articles les plus récents d'abord.
Le JSON-LD structure le contenu : l'index porte un objet Blog avec la liste des articles dans blogPost, et chaque article porte un objet BlogPosting avec son titre, ses dates de publication et de modification, son image, ses mots-clés et son auteur. C'est une base que les moteurs interprètent directement, sans deviner.
Pour les agents IA : des fichiers pensés pour être lus
Le robots.txt autorise explicitement quatre crawlers de modèles de langage, en plus de l'accès général : GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, et Google-Extended, qui régit l'usage des contenus pour l'entraînement des modèles Google. S'y ajoute la ligne Sitemap, qui annonce le plan du site à ceux qui le comprennent.
Deux fichiers suivent la norme llmstxt.org, conçue pour que les modèles lisent un site sans le parcourir lien par lien. llms.txt est un sommaire navigable : le nom du blog, deux phrases de présentation, et la liste des articles avec leurs liens. llms-full.txt contient le texte intégral de chaque article, converti en markdown. Un agent qui veut citer un article peut le faire en lisant un seul fichier, sans interpréter le HTML ni suivre la pagination. Le JSON-LD déjà en place sert le même objectif : il donne les dates et la structure sans parsing fragile.
IndexNow : prévenir Bing et ceux qui s'appuient sur lui
À chaque publication, un ping IndexNow part vers api.indexnow.org avec l'adresse du nouvel article et une clé déclarée dans un fichier à la racine du site. Le protocole couvre Bing, Yandex, Naver, Seznam et Yep, ainsi que DuckDuckGo, qui s'appuie sur Bing. L'idée : annoncer la nouveauté immédiatement, plutôt que d'attendre le prochain passage du moteur.
Google ne supporte pas IndexNow. Son indexation passe par la déclaration du sitemap dans Search Console, une opération qui exige un compte et une action manuelle, distincte du pipeline automatique.
Les soumissions manuelles, quand il y en a
Brave accepte une soumission par formulaire, sans compte : l'index, le sitemap et quelques articles y ont été soumis. Mojeek n'offre aucune soumission — la page d'ajout d'URL a été retirée pour cause de spam —, le site est donc découvert par son crawl naturel. Qwant n'a pas d'outil webmaster : sa documentation recommande d'attendre quelques semaines puis, si rien ne remonte, de passer par un formulaire de prise en charge. Yahoo, Ecosia et DuckDuckGo sont alimentés par Bing ; aucun effort propre ne leur est consacré.
Le suivi, sans traceur
Le comptage des visites passe par un conteneur Umami auto-hébergé sur le même serveur, qui mesure l'audience sans dépôt de cookie. Chaque page porte un petit script de mesure et aucune bannière de consentement n'est nécessaire. Le blog reste exempt de traceurs tiers, ce qui est cohérent avec le reste de l'infrastructure.
Les limites, honnêtement
La découverte par les moteurs dépend beaucoup de la patience. Un moteur sans outil de soumission, comme Mojeek ou Qwant, ne viendra qu'au fil de son propre crawl, à son rythme. On peut préparer le terrain, pas accélérer le moteur.
Google, le moteur le plus utilisé, reste hors du circuit automatique : IndexNow ne le couvre pas, et la déclaration du sitemap demande une intervention humaine dans Search Console. Ce court-circuit est assumé pour l'instant — le coût d'une action manuelle périodique est faible face à la complexité d'un pipeline Google dédié.
Enfin, exposer le contenu intégral dans llms-full.txt rend la citation facile, mais ne donne aucun contrôle sur la façon dont un modèle l'utilise ou le restitue. C'est le compromis choisi pour être lu par des agents : on ouvre l'accès, et on renonce à contrôler l'usage.
La leçon
Un blog statique sert deux publics : des humains sur un navigateur, et des systèmes qui lisent une structure. Le côté coûteux n'est pas technique — quelques fichiers bien formés —, il est de cohérence : à chaque nouvelle publication, le même article doit atterrir dans sitemap.xml, dans llms.txt, dans llms-full.txt et dans la carte de l'index, et déclencher un ping IndexNow. Si un seul de ces circuits est oublié, une partie des lecteurs n'apprend jamais l'existence de l'article. L'automatisation de ce flux — déjà en place dans le pipeline qui fabrique ces articles — transforme un oubli possible en opération systématique.
← Retour au blog