SAM, el modelo de inteligencia artificial de Meta capaz de aislar y enmascarar objetos en imágenes

El miércoles, Meta anunció un modelo de IA llamado Segment Anything Model (SAM) que puede identificar objetos individuales en imágenes y videos, incluso aquellos que no se han encontrado durante el entrenamiento.

Según una entrada del blog de Meta, SAM es un modelo de segmentación de imágenes que puede responder a indicaciones de texto o clics del usuario para aislar objetos específicos dentro de una imagen. La segmentación de imágenes es un proceso de visión por ordenador que consiste en dividir una imagen en varios segmentos o regiones, cada uno de los cuales representa un objeto o área de interés específicos.

El objetivo de la segmentación de imágenes es facilitar su análisis o procesamiento. Meta también considera útil esta tecnología para comprender el contenido de páginas web, aplicaciones de realidad aumentada, edición de imágenes y ayuda a estudios científicos mediante la localización automática de animales u objetos en vídeo.

Según Meta, la creación de un modelo de segmentación preciso "suele requerir un trabajo altamente especializado por parte de expertos técnicos con acceso a una infraestructura de formación en IA y a grandes volúmenes de datos del dominio cuidadosamente anotados". Con la creación de SAM, Meta espera "democratizar" este proceso reduciendo la necesidad de formación y conocimientos especializados, lo que espera que fomente una mayor investigación en visión por ordenador.

Además de SAM, Meta ha reunido un conjunto de datos que denomina "SA-1B" y que incluye 11 millones de imágenes cedidas por "una gran empresa fotográfica" y 1.100 millones de máscaras de segmentación producidas por su modelo de segmentación. Meta pondrá SAM y su conjunto de datos a disposición de los investigadores bajo licencia Apache 2.0.

Actualmente, el código (sin los pesos) está disponible en GitHub y Meta ha creado una demostración interactiva gratuita de su tecnología de segmentación. En la demo, los visitantes pueden subir una foto y utilizar "Hover & Click" (seleccionar objetos con el ratón), "Box" (seleccionar objetos dentro de un cuadro de selección) o "Everything" (que intenta identificar automáticamente todos los objetos de la imagen).

Aunque la tecnología de segmentación de imágenes no es nueva, SAM destaca por su capacidad para identificar objetos no presentes en su conjunto de datos de entrenamiento y por su enfoque parcialmente abierto. Además, la publicación del modelo SA-1B podría desencadenar una nueva generación de aplicaciones de visión por ordenador, al igual que el modelo lingüístico LLaMA de Meta ya está inspirando proyectos derivados.

Aparentemente, Mark Zuckerberg, consejero delegado de Meta, ha subrayado la importancia de incorporar la IA generativa a las aplicaciones de la empresa este año. Aunque Meta aún no ha lanzado ningún producto comercial con este tipo de IA, ya ha utilizado tecnología similar a SAM internamente con Facebook para el etiquetado de fotos, la moderación de contenidos y la determinación de publicaciones recomendadas en Facebook e Instagram.

El anuncio de Meta se produce en medio de una feroz competencia entre las grandes empresas tecnológicas por dominar el espacio de la IA. El modelo de lenguaje ChatGPT de OpenAI, respaldado por Microsoft, acaparó la atención general a finales de 2022, desencadenando una oleada de inversiones que puede definir la próxima gran tendencia empresarial en tecnología más allá de las redes sociales y los smartphones.