Pourquoi les startups d’IA ne respectent-elles pas les protocoles de navigation web?
Freelancer accuse Anthropic, la startup derrière les modèles de langage Claude, d’avoir ignoré son protocole « do not crawl » présent dans le fichier robots.txt pour collecter des données sur ses sites. Mais pourquoi Anthropic n’a-t-il pas respecté cette directive? Matt Barrie, PDG de Freelancer, a déclaré à The Information qu’Anthropic est « de loin le scraper le plus agressif ». En seulement quatre heures, le bot d’Anthropic aurait visité le site 3,5 millions de fois. Cela soulève des questions sur les méthodes agressives utilisées par ces entreprises.
Et ce n’est pas un incident isolé. Kyle Wiens, PDG d’iFixit, a également dénoncé sur X/Twitter qu’Anthropic a frappé ses serveurs un million de fois en 24 heures. Les entreprises d’IA ignorent-elles systématiquement les règles établies par les sites web? En juin, Wired avait déjà accusé une autre entreprise d’IA, Perplexity, de faire de même, ce qui montre que ce problème est répandu.
Face à ces abus, Freelancer a dû bloquer complètement le crawler d’Anthropic. « Ce scraping flagrant ralentit le site pour tout le monde et affecte nos revenus, » a déclaré Barrie. Du côté d’iFixit, Wiens a révélé que ses alarmes de trafic élevé ont été déclenchées à 3h du matin à cause d’Anthropic. La situation est-elle devenue si critique que les entreprises doivent prendre des mesures drastiques?
Les entreprises d’IA respectent-elles vraiment les protocoles de navigation web?
Anthropic a affirmé à The Information qu’il respecte le fichier robots.txt et que son crawler avait suivi cette directive lorsqu’elle a été mise en place par iFixit. L’entreprise mène maintenant une enquête pour comprendre ce qui s’est passé. Les déclarations d’Anthropic soulèvent des questions sur la transparence et la confiance en leur technologie.
Les entreprises d’IA utilisent ces crawlers pour collecter du contenu afin de former leurs technologies de génération d’IA. Cependant, cela a entraîné de nombreuses poursuites judiciaires pour violation de droits d’auteur. Pour éviter de nouveaux litiges, certaines entreprises comme OpenAI ont commencé à passer des accords avec des éditeurs de contenu. Mais ces accords suffiront-ils à apaiser les tensions?
Wiens, d’iFixit, semble ouvert à l’idée de signer un tel accord avec Anthropic, proposant de discuter de la possibilité de licence pour une utilisation commerciale du contenu de son site web. Est-ce la solution pour assurer un équilibre entre innovation technologique et respect des droits des éditeurs de contenu?
Source : Engadget
