Un éditeur de contenu technique constate que Claude Code et OpenCode consomment ses articles plus rapidement que les autres crawlers. La raison : ces agents IA demandent du Markdown au lieu du HTML classique. Cloudflare a lancé en février 2026 Markdown for Agents, une fonctionnalité qui convertit automatiquement les pages web en Markdown lorsqu’un bot IA le demande. Le nombre de tokens nécessaires pour traiter une page chute de 80%. Un article du blog Cloudflare passe de 16 180 tokens en HTML à 3 150 tokens en Markdown. Les agents IA qui crawlent le web pour répondre à des requêtes ou entraîner des modèles profitent directement de ce gain. Cloudflare combine cette fonctionnalité avec AI Crawl Control, un système de gestion des bots IA qui permet de bloquer, auditer ou monétiser l’accès des crawlers au contenu.
Comment fonctionne Markdown for Agents
Un crawler IA envoie une requête HTTP avec l’en-tête Accept: text/markdown. Cloudflare intercepte cette requête avant qu’elle n’atteigne le serveur d’origine. Le système récupère le HTML source, le convertit en Markdown puis retourne le résultat au bot. Cette négociation de contenu (content negotiation) ne demande aucune modification du site : elle s’exécute au niveau du réseau Cloudflare, entre le bot et l’origine.
Claude Code et OpenCode incluent déjà cet en-tête Accept dans leurs requêtes par défaut. Ils reçoivent donc automatiquement du Markdown si le site utilise Cloudflare. Les autres crawlers (ChatGPT, Perplexity, Google Gemini) continueront de recevoir du HTML classique sauf s’ils adoptent cette pratique.
La conversion HTML vers Markdown élimine les éléments superflus : scripts JavaScript, feuilles de style CSS, balises de structure (div, span, nav). Le Markdown conserve uniquement le contenu sémantique : titres, paragraphes, listes, liens et images. Cette purge explique la réduction drastique du nombre de tokens.
Markdown for Agents s’accompagne d’un mécanisme complémentaire annoncé pendant la Birthday Week 2025 de Cloudflare : le Content Signals. Chaque réponse convertie embarque un en-tête Content-Signal qui précise, par défaut, trois autorisations distinctes : ai-train=yes, search=yes, ai-input=yes. L’éditeur peut désactiver l’entraînement de modèles seul. L’indexation de recherche et l’usage agentique, eux, restent actifs, ce qui va plus loin que le simple blocage binaire du robots.txt classique.
Cloudflare ne stocke pas de version Markdown pré-générée. La conversion s’effectue à la volée pour chaque requête, ce qui évite la duplication de contenu et garantit que les bots reçoivent toujours la version la plus récente.
L’économie de tokens : 80% de réduction
Un token représente environ 4 caractères en anglais ou 0,75 mot. Les modèles de langage (GPT-4, Claude, Gemini) facturent par million de tokens traités. Une page HTML de 16 180 tokens coûte environ 0,16 dollar à traiter avec GPT-4 Turbo (10 dollars par million de tokens input). La même page en Markdown (3 150 tokens) coûte 0,03 dollar, soit une économie de 81% qui devient significative sur des millions de pages crawlées.
Pour les éditeurs, cette efficacité accélère l’indexation par les agents IA. Un crawler qui traite 5 fois plus de pages par heure couvre le site plus rapidement et met à jour ses informations plus fréquemment. Les sites d’actualité et les bases de connaissances techniques bénéficient particulièrement de cette rapidité.
Le Markdown préserve la structure sémantique essentielle. Les titres H1-H6, les listes à puces, les tableaux et les liens restent parfaitement interprétables par les modèles IA. Seuls les éléments visuels (mise en page, couleurs, animations) disparaissent, mais ces éléments n’ont aucune valeur pour un agent IA textuel.
| Format | Tokens | Réduction | Coût GPT-4 Turbo |
|---|---|---|---|
| HTML complet | 16 180 | – | 0,16 $ |
| Markdown | 3 150 | 80% | 0,03 $ |
Les éditeurs qui déploient leurs propres agents IA internes profitent aussi de cette économie. Une entreprise qui indexe sa documentation technique avec un modèle RAG (Retrieval Augmented Generation) divise par cinq ses coûts d’embedding et de traitement.
AI Crawl Control : bloquer, auditer ou monétiser
Cloudflare a déployé AI Crawl Control en juillet 2025 (disponibilité générale en février 2026). Cet outil donne aux éditeurs trois options. Bloquer par défaut, autoriser sélectivement, ou monétiser l’accès des bots IA.
Depuis juillet 2025, chaque nouveau domaine sur Cloudflare bloque automatiquement tous les crawlers IA connus sauf autorisation explicite ; cette politique inverse la logique du robots.txt traditionnel, où le crawling était autorisé par défaut jusqu’à preuve du contraire. Plus d’un million de domaines ont déjà activé ce blocage selon Cloudflare. Plusieurs éditeurs majeurs avaient anticipé ce mouvement individuellement : Medium bloque l’entraînement IA par défaut depuis 2023, et Reuters, The New York Times et CNN appliquent des blocages complets contre le crawler d’OpenAI depuis la même période.
Le tableau de bord AI Crawl Control liste tous les bots IA détectés : OpenAI (ChatGPT), Anthropic (Claude), Google (Gemini), Perplexity, Cohere et Meta. L’éditeur autorise ou bloque chaque bot individuellement. Les bots déclarent désormais leur intention : entraînement de modèles, inférence temps réel ou indexation pour recherche, ce qui aide à prendre des décisions éclairées.
Cloudflare maintient un robots.txt managé qui se met à jour automatiquement lorsque de nouveaux bots IA émergent. L’éditeur active cette fonctionnalité une fois et Cloudflare ajuste les directives sans intervention manuelle, ce qui évite la course permanente contre les nouveaux crawlers.
L’AI Labyrinth piège les bots qui ignorent les directives robots.txt. Au lieu de bloquer la requête, Cloudflare redirige le bot vers des pages générées par IA qui semblent légitimes. Le bot perd du temps et des ressources à crawler du contenu fictif, ce qui dissuade les crawlers non respectueux sans générer d’erreurs HTTP visibles.
Le modèle « pay-per-crawl » et ses implications
Cloudflare a lancé un système de paiement par crawl en beta privée dès juillet 2025, avant d’élargir son déploiement courant 2026. Les éditeurs définissent un tarif (en centimes par page) que les bots IA doivent payer pour accéder au contenu. Ce modèle répond aux revendications des médias et créateurs de contenu, qui estiment financer l’entraînement de modèles IA sans compensation.
Stack Overflow a activé le pay-per-crawl avec Cloudflare en février 2026, une décision motivée par la baisse de trafic humain sur ses pages de documentation à mesure que les développeurs interrogent directement des assistants IA plutôt que de visiter le site. Ce cas illustre le motif principal des adoptants : compenser une perte de trafic direct plutôt que créer un nouveau centre de profit.
Le New York Times, The Atlantic et plusieurs éditeurs européens négocient déjà des accords de licence avec OpenAI, Anthropic et Google. Ces accords valent des millions de dollars annuels. Le système Cloudflare démocratise ce modèle pour les petits éditeurs, qui n’ont pas les moyens de négocier individuellement.
Un site peut appliquer le pay-per-crawl uniquement sur les pages monétisées par la publicité tout en laissant les pages institutionnelles librement accessibles. Cette granularité permet d’équilibrer visibilité et monétisation : un média peut bloquer ChatGPT sur ses enquêtes premium mais autoriser l’indexation de ses articles d’actualité générale.
La viabilité économique reste à prouver. Si un bot paie 0,001 dollar par page et crawle 10 000 pages mensuelles, cela génère 10 dollars par mois. Ce montant reste symbolique pour un éditeur mais peut dissuader les crawlers opportunistes qui scrapent massivement sans valeur ajoutée claire.
Ce que doivent faire les éditeurs de sites
Les sites hébergés derrière Cloudflare (plus de 20% du web en 2026) disposent d’options immédiates. Markdown for Agents s’active automatiquement sans configuration. Pour contrôler les bots IA, l’éditeur accède au dashboard Cloudflare, section Security > Bots. Le menu AI Crawl Control liste tous les crawlers détectés, avec leur fréquence de visite et le type de contenu consulté ; de quoi repérer en un coup d’œil les bots les plus actifs sur le site et ceux qui n’ont encore jamais été vus.
Les éditeurs qui ne veulent aucun crawling IA activent le blocage global. Ceux qui acceptent l’indexation mais refusent l’entraînement de modèles autorisent sélectivement les bots marqués « inference » ou « search » tout en bloquant ceux marqués « training ». Cette distinction suppose que les bots IA déclarent honnêtement leur usage, ce qui reste volontaire.
Les sites non hébergés sur Cloudflare utilisent le robots.txt classique. La directive User-agent: GPTBot suivie de Disallow: / bloque OpenAI. Chaque compagnie IA utilise un user-agent différent (GPTBot, Claude-Web, Google-Extended, CCBot pour Common Crawl) ; une plateforme qui veut couvrir tous les cas doit ajouter une ligne à chaque nouvel entrant, avec le risque réel d’en oublier un et de laisser passer un accès non désiré pendant des semaines avant de s’en apercevoir.
Une alternative technique consiste à détecter les user-agents IA côté serveur et retourner un code 403 Forbidden. Cette approche contourne le robots.txt, qui reste une recommandation non contraignante. Certains crawlers IA ignorent délibérément le robots.txt, d’où l’intérêt de l’AI Labyrinth de Cloudflare qui sanctionne cette pratique.
La négociation de contenu par en-tête pose aussi un risque de dérive. Rien n’empêche techniquement un site de servir une version Markdown différente de celle vue par Google via le crawl classique, ce qui s’apparente à du cloaking. Search Engine Land a documenté ce risque dès février 2026, en montrant qu’une requête Markdown peut déclencher une réponse HTML distincte de la version standard. Un éditeur qui pratique cette différenciation de façon abusive s’expose à une pénalité, pas seulement à un avantage de coût. Pour rester du bon côté, la règle est simple : la version Markdown doit garder la même structure sémantique et les mêmes affirmations que la version HTML, seule la mise en forme disparaît. Le menu Analytics > Bots du dashboard Cloudflare permet de vérifier après coup que les deux représentations restent cohérentes, requête après requête.
L’évolution réglementaire influencera aussi ces pratiques. L’Union européenne discute d’un droit d’opt-out pour l’entraînement IA dans le cadre de l’AI Act. Les États-Unis n’ont pas encore légiféré, mais plusieurs procès opposent déjà éditeurs et compagnies IA sur la question du fair use.
Markdown for Agents reste une optimisation technique bienvenue, mais elle ne répond pas à la question de fond : qui profite de l’indexation du contenu web par les IA, et comment répartir la valeur créée. Les outils Cloudflare donnent aux éditeurs un levier de négociation qu’ils n’avaient pas face aux géants de l’IA.
