Cloudflare permite a los sitios cobrar a los bots de IA con ‘Pago por Rastreo’

Cloudflare está ofreciendo a los editores una nueva opción: cobrar a los bots de IA por rastrear sus sitios utilizando un sistema de pago HTTP 402 revivido.

A través de su nuevo sistema “Pay Per Crawl“, los propietarios de sitios web pueden cobrar a los bots de IA por acceder a su contenido. El sistema ofrece a los editores un enfoque alternativo a su actual política de dos opciones, que permite el raspado de datos de IA o el bloqueo completo del acceso de la IA.

“Muchos editores, creadores de contenido y propietarios de sitios web actualmente sienten que tienen una opción binaria: o dejan la puerta principal completamente abierta para que la IA consuma todo lo que crean, o crean su propio jardín amurallado”, dijo Cloudflare. “¿Pero y si hubiera otra forma?”

Con Pay Per Crawl, los creadores de contenido ahora pueden decidir quién entra y a qué precio. Pueden permitir el acceso gratuito a algunos rastreadores de IA, bloquear a otros por completo o cobrar por el acceso. “Queríamos que los creadores de contenido tuvieran control sobre quién accede a su trabajo”, dijo Cloudflare. “Los creadores deberían estar al volante.”

La decisión se produce en medio de una creciente reacción en contra de las empresas de IA que utilizan contenido web sin consentimiento. Por ejemplo, YouTube ha sido criticado por permitir que Google raspe videos sin notificar a los creadores. Además, la función de Resúmenes de IA de Google ha reducido el tráfico a sitios de noticias como HuffPost y The Washington Post en más del 50%.

“Google simplemente toma contenido por la fuerza y lo utiliza sin retribuir nada, la definición de robo”, dijo Danielle Coffey, presidenta de la Alianza de Noticias/Medios.

La herramienta funciona utilizando una antigua característica web: el código de respuesta HTTP 402, que significa “Se requiere pago”. Si un bot de IA intenta acceder a una página, el servidor ahora puede responder con un 402 e incluir una etiqueta de precio. Si el bot acepta pagar, el servidor entrega el contenido.

Cloudflare proporciona la infraestructura técnica y gestiona los pagos. Los editores pueden establecer un precio fijo por solicitud de rastreo e incluso aplicar diferentes reglas para diferentes bots. Incluso si un bot no está registrado en Cloudflare, aún puede ser “cobrado” — esencialmente bloqueando el acceso, pero dejando espacio para futuros acuerdos.

Este sistema podría conducir a una licencia más flexible y a una fijación de precios dinámica en el futuro. Como lo expone Cloudflare: “Al proporcionar a los creadores un mecanismo robusto y programático para valorar y controlar sus activos digitales, los empoderamos para que continúen creando el contenido rico y diverso que hace que Internet sea invaluable”.