Amazon Web Services untersucht Perplexity AI wegen Umgehung des robots.txt-Protokolls auf Websites

Amazon Web Services hat eine Untersuchung eingeleitet, nachdem gegen Perplexity AI der Vorwurf erhoben wurde, seine Crawler könnten das Robot-Exclusion-Protokoll auf Websites umgehen.

Was bekannt ist

Das Robot Exclusion Protocol (robots.txt) ist ein Webprogrammierstandard, der von Webentwicklern verwendet wird, um Suchmaschinen und anderen Bots mitzuteilen, wie sie sich auf ihren Websites verhalten sollen. Es ist ein wichtiger Mechanismus zur Kontrolle des Zugangs zu Inhalten und zum Schutz der Privatsphäre.

Die Vorwürfe lauten, dass Perplexity AI Crawler, die auf Amazons Servern gehostet werden, sich möglicherweise nicht an diesen Standard halten und so der illegalen Sammlung von Daten oder Inhalten von Websites ohne entsprechende Genehmigung Tür und Tor öffnen.

AWS ist darauf aufmerksam geworden und untersucht nun die Vorwürfe, um festzustellen, ob sie begründet sind und ob die Nutzung von Perplexity AI im Einklang mit den Richtlinien und Servicestandards von AWS steht.

Quelle: Wired