Google, Microsoft, OpenAI та Anthropic узгодили єдиний механізм відмови від навчання ШІ на контенті сайтів

Дотепер власникам сайтів, які прагнули захистити свої матеріали від автоматизованого збору (скрейпінгу) для тренування нейромереж, доводилося прописувати окремі правила для пошукових роботів кожної корпорації. Новий механізм базується на проєкті документа для Інженерної ради інтернету (IETF), який підготував представник Anthropic Кевін Келлі. Пропозиція передбачає введення спеціального маркера політики __usage_ai-training у рядку User-Agent стандартного файлу robots.txt. Водночас наразі лише Anthropic розпочала впровадження цього рішення. OpenAI обіцяє реалізувати підтримку маркера протягом найближчих місяців, Microsoft почне враховувати його з 1 лютого 2027 року, а Google орієнтується на впровадження впродовж 2027 року. Корпорація Meta назвала ініціативу важливим кроком, проте офіційних зобов’язань щодо її виконання на себе не взяла.

Технічні деталі угоди свідчать, що новий параметр регулює лише спосіб подальшого використання даних, але не забороняє роботам сканувати сторінки. Крім того, кожна корпорація інтегрує цей сигнал у власні системи по-різному. Зокрема, у Google заявили, що активація загальної заборони без окремого налаштування параметра Google-Extended автоматично виключить сайт із видачі відповідей у застосунках Gemini, через що видавці можуть втратити цитування та переходи. Натомість Microsoft запроваджує додаткові налаштування на рівні сторінок, які дозволяють залишити контент доступним для власних продуктів на кшталт Copilot, але закрити його для сторонніх бізнес-клієнтів компанії.

Питання контролю за використанням інтелектуальної власності набуло гостроти на тлі масштабних судових процесів та регуляторного тиску. Наприкінці 2023 року видання The New York Times подало позов проти OpenAI та Microsoft, у 2025 році медіахолдинг Penske Media позивався проти Google через функцію AI Overviews, а компанія Anthropic погодилася виплатити 1,5 мільярда доларів для врегулювання претензій авторів щодо використання піратських книг. Для українських медіа, державних ресурсів і розробників цей механізм є важливим інструментом захисту авторського контенту від безоплатного поглинання глобальними мовними моделями, а також кроком до гармонізації з Кодексом практики ЄС щодо штучного інтелекту загального призначення.

«Цей маркер політики не є директивою для поведінки під час сканування. Налаштування регулюють використання контенту, а не сам доступ роботів до сторінок», — йдеться в технічному описі стандарту та офіційних роз’ясненнях корпорації Microsoft.

Експерти наголошують, що запропонований механізм залишається добровільним запитом, а не надійним технічним блокуванням, і не поширюється на матеріали, які вже були зібрані раніше. Сам документ у базі IETF наразі має статус індивідуальної чернетки без офіційного затвердження, термін дії якої спливає 3 травня 2027 року за відсутності оновлень. Через це учасники ринку дедалі частіше вдаються до жорсткіших методів захисту: зокрема, компанія Cloudflare ще з липня 2025 року за замовчуванням блокує ШІ-ботів для нових клієнтів і пропонує механізми монетизації за кожне сканування сторінок.

Першоджерело: TechRadar