OpenAI анонсирует GPTBot: веб-сканер, или сборщик данных, который можно заблокировать

OpenAI делится новостями о запуске так называемого сканера, который призван искать сайты для сбора данных для обучения ИИ-моделей: компания рассказала, как запретить доступ к контенту

Интернет – это огромный источник информации не только для пользователей, но теперь и для искусственного интеллекта (ИИ), который нуждается в данных, чтобы обучаться на них и быть эффективнее. OpenAI объявила о запуске GPTBot – программы, которая автоматически посещает разные сайты и собирает данные для обучения моделей ИИ, но также рассказала, как владельцы сайтов могут «запретить» доступ на свои просторы. Эту новость сообщил Yahoo 8 августа 2023 года, ссылаясь на Fox News.

Далеко не все владельцы сайтов готовы делиться содержимым с моделями ИИ, как, впрочем, и с другими сайтами. Некоторые источники, как известно, требуют соблюдения авторских прав при копировании, а иногда даже перекрывают команду «копировать».

OpenAI, одна из ведущих компаний в области ИИ, недавно объявила о сканере, призванном искать доступную информацию для обучения своих чат-ботов и т. п. С другой стороны компания учла, что многие владельцы сайтов не намерены делиться этой информацией, поэтому объяснила, как можно ограничить или запретить доступ GPTBot.

GPTBot – это не единственная программа, которая сканирует интернет в поисках данных. Такие программы называются сборщиками или пауками (web crawlers) и часто используются поисковыми системами, такими как Google или Bing, для индексации сайтов и показа их в результатах поиска. Однако GPTBot отличается от других сборщиков тем, что он не только индексирует сайты, но и анализирует их содержимое для обучения моделей ИИ, в т. ч. ChatGPT.

OpenAI заявила, что GPTBot не нарушает правила или законы при сборе данных с сайтов. Компания утверждает, что GPTBot уважает файл robots.txt, который указывает, какие части сайта можно или нельзя сканировать сборщикам. Представители компании отмечают, что GPTBot не собирает данные, которые защищены паролем или шифрованием, или данные, которые являются чувствительными или конфиденциальными.

Ранее «LinDeal.com» рассказал о том, что OpenAI подала заявку на торговую марку для GPT-5. А также наша редакция сообщила, что OpenAI обучает Искусственный интеллект на новостях AP.