La solution radicale de Cloudflare contre les robots d'IA : ce que les SEO doivent savoir

Cloudflare pense avoir la solution. Une solution (radicale) à un problème qui hante la moitié du web, et qui risque de hérisser l'autre moitié si elle est appliquée

L'entreprise affirme avoir mis au point l'arme ultime (ce sont mes mots, pas les siens) pour bloquer les robots d'IA. Voyons de plus près ce qui justifie tout ce bruit.

Cloudflare fait beaucoup parler de lui ces derniers temps. Le géant de la tech prétend détenir la panacée à un problème qui hante et intrigue toute la communauté du web, des développeurs et webmasters aux SEO jaloux et aux médias…

Qu'a imaginé Cloudflare ?

ChatGPT a été lancé fin 2022. Depuis, il a explosé et enflammé le web, au point, diront certains, de le remplir de contenus de mauvaise qualité. Cela dit, remplir le web de contenus médiocres n'a rien de nouveau ni de propre aux outils d'IA. Les humains le font brillamment depuis des décennies : 4chan, 8chan et Reddit en sont la preuve vivante. Mais je m'égare.

Ces outils d'IA auraient été acceptables et sans danger (du point de vue des régulateurs et des utilisateurs) si corrompre le web était le seul crime qu'on leur reprochait. Mais ce n'est pas le cas.

Des outils comme ChatGPT, Perplexity, Gemini et consorts sont aussi accusés de voler des contenus produits par des humains (en explorant des sites sans autorisation et en utilisant ces données pour générer des contenus similaires, pour employer le jargon technique) au détriment de créateurs de contenu qui travaillent dur, surtout des rédacteurs.

C'est là qu'entre en scène Cloudflare.

Cloudflare, notre sauveur ?

Dans un article publié sur son blog, l'entreprise annonce avoir trouvé un moyen de, je cite : « Declare your AIndependence: block AI bots, scrapers and crawlers with a single click » (déclarez votre indépendance face à l'IA : bloquez les robots d'IA, scrapers et crawlers en un clic).

Cette annonce fait suite au lancement d'une solution similaire visant à « mettre au défi » les robots d'IA et à les empêcher d'envoyer trop de requêtes.

Après ce lancement, l'entreprise a constaté que la majorité de ses clients n'étaient pas vraiment satisfaits de ses performances.

Selon un sondage mené par l'entreprise, 85 % des utilisateurs souhaitent bloquer complètement les robots d'IA.

Parenthèse : je parie que l'auteur est content de son titre. C'est un bon titre, rendons à César ce qui est à César.

Plus intéressant encore, l'entreprise indique que l'outil est gratuit et accessible à tous ses utilisateurs. Ce qui le rend d'autant plus attrayant…

Pourquoi tant de bruit autour de Cloudflare ?

Bloquer les robots d'IA, ou n'importe quel robot, n'a rien de nouveau. On apprend aux spécialistes SEO comme moi à contrôler ce que les moteurs de recherche peuvent explorer grâce aux sitemaps et au robots.txt… Cela dit, les instructions qu'on place dans ces fichiers sont des directives, pas des obligations. Et les robots des moteurs de recherche sont libres de les respecter ou non.

Face à la hausse notable de l'activité des robots d'IA sur le web, l'entreprise a décidé de passer à une étape (en principe) plus radicale.

On le voit, quatre robots d'IA dominent internet : Bytespider, Amazonbot, ClaudeBot et GPTBot. Je les ai baptisés le « Big 4 des robots IA malveillants ». Merci de me citer si vous reprenez l'expression…

Fait intéressant, le plus grand voleur n'est pas le robot le plus bloqué. Victime de son succès, ChatGPT est le robot d'IA le plus bloqué par les utilisateurs de Cloudflare…

Là où Cloudflare pourrait faire la différence

1. La solution de Cloudflare s'active d'un simple interrupteur, contrairement au robots.txt et aux sitemaps, qui demandent des connaissances et un savoir-faire techniques.
2. Ce n'est pas une simple directive que les robots d'IA peuvent ignorer. Cloudflare affirme empêcher réellement les robots d'explorer les contenus, sans détailler comment.
3. Le géant de la tech affirme que son modèle de machine learning sait reconnaître les robots d'IA, même lorsqu'ils se font passer pour des navigateurs classiques.
4. Il a aussi mis en place un outil de signalement grâce auquel tout client Cloudflare peut signaler un robot d'IA qui scrape des sites sans autorisation, surveiller les robots d'IA sur son site et faire remonter ses retours. Cette dernière fonctionnalité est plutôt réussie, je dois l'admettre…

Cloudflare est un mastodonte de la tech. Avec plus de 7 millions de sites clients, l'entreprise pèse lourd dans l'écosystème. Si elle joint le geste à la parole et que sa solution de blocage fonctionne, les acteurs de l'IA auront bien du mal à récupérer davantage de données.

Pour en savoir plus sur ce bloqueur de robots d'IA, lisez l'article complet dans lequel Cloudflare explique comment Declare your AIndependence: block AI bots, scrapers and crawlers with a single click (en anglais).