Comment Perplexity se faufile sur les sites web pour récupérer les contenus qui lui sont interdit - ZDNET

Guillaume Serries - ZDNet - 06/08
Cloudflare a accusé la société d'intelligence artificielle de contourner les directives de non-crawl des sites web. Voici la réponse du CDN.

3 points pour tout comprendre sur la polémique entre Cloudflare et Perplexity

  • Cloudflare affirme que Perplexity ignore les souhaits des sites web dans sa chasse au contenu.
  • Cloudflare a déclaré que d'autres sociétés d'IA, telles qu'OpenAI, ne scrapent pas de contenu.
  • Cloudflare propose désormais des services pour bloquer les robots d'indexation agressifs.

Cloudflare, l'une des principales sociétés de réseau de diffusion de contenu (CDN), a accusé la startup d'IA Perplexity de contourner les directives "no crawl" des sites web en déployant furtivement des crawlers web pour scrapper du contenu sur des sites qui ont explicitement bloqué ses bots.

Si cela vous semble familier, vous avez déjà entendu ces accusations.

L'année dernière, WIRED et Forbes ont tous deux accusé Perplexity de faire la même chose sur leurs sites.

Comment Perplexity contourne les directives "no crawl" (pas d'exploration)

Selon Cloudflare, lorsque le robot d'exploration de Perplexity rencontre un fichier robots.txt, que les sites utilisent pour empêcher l'exploration de leur contenu, Perplexity a fait semblant d'être un navigateur web Chrome ordinaire installé sur un Mac. Cela lui permet de contourner les barrières des robots.

Cloudflare a commencé à enquêter lorsqu'il a reçu des plaintes de clients qui avaient "interdit l'activité d'exploration de Perp...
[Courte citation de 8% de l'article original]