Amazon Web Services розслідує Perplexity AI за обходження протоколу robots.txt на вебсайтах

Amazon Web Services розпочало розслідування після того, як були висунуті звинувачення щодо Perplexity AI у тому, що їхні сканери можуть обходити протокол виключення роботів на вебсайтах.

Що відомо

Протокол виключення роботів (robots.txt) є стандартом вебпрограмування, який використовується веброзробниками для вказівки пошуковим системам та іншим ботам, як вони повинні поводитися на їхніх сайтах. Це важливий механізм для контролю доступу до вмісту та захисту приватності.

Звинувачення полягають у тому, що сканери Perplexity AI, розміщені на серверах Amazon, можуть не дотримуватись цього стандарту, відкриваючи можливість для незаконного збору даних або вмісту з вебсайтів без належного дозволу.

Це привернуло увагу AWS, яка зараз вивчає ці звинувачення, щоб визначити, чи є основи для цих обвинувачень і чи відповідає використання Perplexity AI їхній політиці та стандартам обслуговування.

Джерело: Wired