Google ha anunciado una nueva función en su archivo de indexación de robots.txt que permitirá a los editores decidir si su contenido "ayudará a mejorar las API generativas de Bard y Vertex, incluidas las generaciones futuras de modelos que alimentan esos productos". El control es un rastreador llamado Google-Extended, y los editores pueden agregarlo al archivo de documentación de su sitio para indicarle a Google que no lo utilice para esas dos API.
En un comunicado, la vicepresidenta de "confianza" de la compañía, Danielle Romain, dijo que han "escuchado a los editores web que desean una mayor elección y control sobre cómo se utiliza su contenido para los casos de uso emergentes de IA generativa". Romain agregó que Google-Extended "es un paso importante para brindar transparencia y control que creemos que todos los proveedores de modelos de IA deberían poner a disposición".
A medida que los chatbots de IA generativa se vuelven más populares y se integran más en los resultados de búsqueda, la forma en que el contenido es digerido por plataformas como Bard y Bing AI ha sido motivo de preocupación para los editores. Aunque estos sistemas pueden citar sus fuentes, agregan información que proviene de diferentes sitios web y la presentan a los usuarios dentro de la conversación. Esto podría reducir drásticamente la cantidad de tráfico que llega a los sitios individuales, lo que afectaría significativamente los ingresos por publicidad y modelos de negocio completos.
Google ha afirmado que, en lo que respecta al entrenamiento de modelos de IA, las exclusiones voluntarias se aplicarán a la próxima generación de modelos para las API de Bard y Vertex. Los editores que deseen mantener su contenido fuera de cosas como la Experiencia Generativa de Búsqueda (SGE) deben seguir utilizando el agente de usuario Googlebot y la etiqueta meta NOINDEX en el archivo robots.txt para lograrlo.
Romain señala que "a medida que las aplicaciones de IA se expanden, los editores web enfrentarán una creciente complejidad para gestionar diferentes usos a gran escala". Este año ha visto una explosión en el desarrollo de herramientas basadas en IA generativa y con la búsqueda siendo una forma tan importante en la que las personas descubren contenido, el estado de Internet parece estar a punto de experimentar un gran cambio. La adición de este control por parte de Google no solo es oportuna, sino que también indica que la compañía está pensando en la forma en que sus productos impactarán en la web.