Amazon Web Services расследует Perplexity AI за обхождение протокола robots.txt на веб-сайтах

Amazon Web Services начало расследование после того, как были выдвинуты обвинения в отношении Perplexity AI в том, что их сканеры могут обходить протокол исключения роботов на веб-сайтах.

Что известно

Протокол исключения роботов (robots.txt) является стандартом веб-программирования, который используется веб-производителями для указания поисковым системам и другим ботам, как они должны вести себя на их сайтах. Это важный механизм для контроля доступа к содержимому и защиты приватности.

Обвинения заключаются в том, что сканеры Perplexity AI, размещенные на серверах Amazon, могут не придерживаться этого стандарта, открывая возможность для незаконного сбора данных или контента с веб-сайтов без надлежащего разрешения.

Это привлекло внимание AWS, которая сейчас изучает эти обвинения, чтобы определить, есть ли основания для этих обвинений и соответствует ли использование Perplexity AI их политике и стандартам обслуживания.

Источник: Wired