Pourquoi Reddit a-t-il soudainement coupé l’accès à ses données pour certains moteurs de recherche? En juin dernier, Reddit a annoncé qu’il bloquerait les extractions de données non autorisées de son site. On aurait pu penser que cette mesure ciblait surtout les développeurs de chatbots et d’intelligence artificielle. Mais aujourd’hui, il apparaît que d’autres acteurs sont également impactés.
Comment expliquer que seuls les résultats de recherche de Google apparaissent toujours sur Reddit? D’autres moteurs de recherche comme Bing et DuckDuckGo peinent désormais à afficher les résultats du forum populaire. Une enquête menée par 404 Media et confirmée par Engadget montre que les utilisateurs qui tentent une recherche spécifique sur Reddit via Bing se retrouvent devant une page vide. DuckDuckGo, de son côté, avait aussi tenté de montrer des liens, mais sans descriptions valides.
Qu’est-ce que Reddit a réellement modifié dans son fichier robots.txt? Selon leur annonce récente, l’objectif était d’empêcher le scraping de données automatisé. Pourtant, en y regardant de plus près, il semble que Google soit le seul moteur de recherche ayant encore le droit d’explorer Reddit. Le message affiché dans le fichier robots.txt est clair: « Reddit croit en un internet ouvert, mais pas au mauvais usage du contenu public. »
Reddit semble s’être tourné vers l’exclusivité avec Google au détriment d’autres moteurs de recherche.
Pour quelles raisons Reddit privilégie-t-il Google ? Reddit a signé un contrat lucratif avec le géant de la tech, évalué à 60 millions de dollars par an. Cette entente semble leur avoir permis de déployer un contournement technique, respectant les standards du fichier robots.txt, pour n’autoriser que Google à accéder à leur contenu. Un calcul économique judicieux ou une agression contre la nature ouverte du web?
Quels impacts pour la recherche sur Internet ? Colin Hayhurst, PDG du moteur de recherche alternatif Mojeek, déclare que Reddit est en train de « tuer tout pour la recherche sauf Google. » Ses tentatives de contact avec Reddit sont restées sans réponse, ce qui est, selon lui, une première. Est-ce une simple ignorance ou une stratégie délibérée visant à marginaliser la concurrence?
Les réactions à cette nouvelle politique ne se font pas attendre. Engadget a tenté de contacter Google et Reddit pour des éclaircissements, sans succès. Il est évident que Reddit veut protéger ses données des IA, même si cela signifie brider l’accès aux utilisateurs et chercheurs du web qui ne passent pas par Google.
Quelle sera la suite pour Reddit et ses utilisateurs ? Le site a déjà montré qu’il n’hésitait pas à imposer ses règles, comme on l’a vu avec le blocage des API tiers, ce qui a provoqué la fermeture de nombreuses applications populaires comme Apollo. Quelles conséquences à long terme pour la communauté Reddit et pour la liberté d’accès à l’information?
Source : Engadget
