Embeddings multimodales: cómo la IA busca imágenes, productos y documentos sin conversar

Una tienda con miles de productos, un archivo de fotografías o una biblioteca de documentos puede necesitar encontrar algo aunque la consulta use palabras distintas a las de la ficha. Ahí entran los embeddings: representaciones numéricas que permiten comparar elementos por similitud. Algunos modelos actuales llevan esta idea más allá del texto y sitúan texto, imágenes, audio o vídeo en un espacio común. El resultado es una pieza de búsqueda y recuperación; por sí sola, no mantiene una conversación ni demuestra que el elemento encontrado sea correcto.

La diferencia importa porque muchas demostraciones mezclan tres tareas: representar datos, recuperar candidatos y generar una respuesta. Comprenderlas por separado ayuda a evaluar qué hace realmente un sistema y qué parte todavía necesita revisión humana.

Qué es un embedding y por qué se representa como un vector

Un embedding es una lista de números que un modelo calcula a partir de una entrada. Puede representar una frase, un documento, una imagen u otro tipo de dato. Google explica el concepto como una representación vectorial en la que las relaciones entre elementos pueden compararse mediante distancias o medidas de similitud. Es una herramienta matemática para organizar información según los patrones que el modelo aprendió; sus dimensiones no son etiquetas legibles como «color», «precio» o «tema».

Por eso, no hay que imaginar un mapa literal con un eje para cada cualidad humana. La posición es útil para comparar representaciones producidas por el modelo, pero no explica por sí misma por qué dos resultados quedaron cerca. La similitud siempre depende del modelo, del modo de medirla y de los datos con que se preparó la búsqueda. La introducción de Google for Developers sobre espacios de embeddings muestra precisamente esa relación relativa entre puntos.

Cómo encuentra resultados una búsqueda vectorial

El flujo suele empezar antes de que una persona escriba la consulta. Un sistema procesa el catálogo o archivo, convierte cada elemento en un vector y guarda ese vector junto con metadatos útiles: título, fecha, categoría, idioma, permisos o identificador. Cuando llega una consulta, el sistema la convierte a una representación compatible y busca los vectores más cercanos según una medida elegida.

1. Preparar el contenido. Se decide qué se indexa y cómo se divide. Un documento largo puede necesitar fragmentos, conservando la referencia al documento original.
2. Representar consulta y elementos. El modelo transforma cada entrada en números. Para que la comparación tenga sentido, las representaciones deben ser compatibles con el modelo y la configuración del índice.
3. Recuperar candidatos. El buscador calcula similitudes o distancias y devuelve un conjunto de posibles coincidencias. Esta fase prioriza rapidez y recuperación, no necesariamente una respuesta final.
4. Aplicar filtros y ordenar. Metadatos, permisos, actualidad y una segunda etapa de clasificación pueden cambiar el orden o excluir resultados. Google documenta por separado generación de candidatos y medidas como producto escalar, coseno y distancia euclídea en su guía de generación de candidatos.

Un sistema también puede combinar búsqueda semántica con búsqueda léxica. La primera ayuda cuando se pregunta con una paráfrasis; la segunda resulta importante para códigos, nombres exactos, números de modelo o referencias legales. No hay que asumir que una sustituye a la otra.

Qué añade la búsqueda entre texto, imagen y otros formatos

En una búsqueda solo textual, consulta y documentos se comparan dentro del ámbito para el que se diseñó el modelo. En un sistema multimodal, un modelo puede proyectar varias modalidades a un espacio compatible. Eso permite, por ejemplo, introducir una descripción y recuperar imágenes relacionadas, o buscar en un archivo audiovisual con una frase. La posibilidad concreta depende de las entradas que admita ese modelo: que un proveedor anuncie «multimodal» no significa que acepte cualquier formato, tamaño o combinación.

Google DeepMind presenta Gemini Embedding 2 como un modelo que representa texto, imágenes, vídeo, audio y documentos en un espacio compartido, con usos de recuperación, clasificación, agrupación y recomendación. Su ficha técnica describe esas modalidades y tareas. En otro ejemplo, Google anunció EmbeddingGemma 2 para casos de búsqueda multimodal en dispositivos; la publicación del equipo de Google AI Edge, fechada el 6 de octubre de 2026, detalla una arquitectura con encoders seleccionables. Son ejemplos de productos concretos, no una característica universal de todas las IA.

Ejemplos útiles: tienda, archivo y biblioteca documental

Catálogo de productos. Una persona podría describir «mochila pequeña para lluvia con bolsillo lateral» y buscar fotografías o fichas que se aproximen a la consulta aunque no repitan toda la frase. La aplicación aún tendría que filtrar disponibilidad, talla, precio y otras condiciones estructuradas. Un vector no sustituye a esos campos.

Archivo audiovisual. Una redacción o equipo de producción puede intentar localizar imágenes o fragmentos de vídeo mediante descripciones. El modelo solo recuperará aquello que el sistema haya indexado y que pueda representar: no reconstruye automáticamente lo que no está en los datos o se pierde en el muestreo.

Documentación interna. Una búsqueda puede traer fragmentos de manuales o PDF que parecen relacionados con la pregunta. En una arquitectura de generación aumentada por recuperación (RAG), un componente recupera fuentes y otro modelo puede redactar una respuesta apoyada en ellas. Google Cloud describe embeddings y búsqueda vectorial como partes separadas de estos flujos; la generación no convierte una coincidencia en prueba ni elimina la necesidad de enlazar con el documento original.

Qué no puede demostrar la puntuación de similitud

Un resultado cercano significa que la representación y la medida elegida lo consideran parecido a la consulta respecto a otros candidatos. No significa que sea la misma persona, el mismo objeto, la respuesta exacta ni una fuente fiable. Tampoco es, salvo que el sistema se haya calibrado expresamente para ello, una probabilidad de acierto. Una descripción ambigua, una imagen de baja calidad, un idioma poco representado o un catálogo con etiquetas pobres pueden producir resultados inesperados.

La evaluación debe usar consultas reales y ejemplos difíciles: coincidencias exactas, sinónimos, negaciones, atributos que no deben confundirse y casos en los que ningún resultado es válido. Conviene medir qué se recupera y qué queda fuera, revisar falsos positivos y permitir una búsqueda por términos cuando la semántica no baste. Los ejemplos de Google sobre similitud también muestran que coseno, producto escalar y distancia euclídea pueden ordenar los mismos elementos de forma diferente si se aplican en condiciones distintas.

Permisos, privacidad y mantenimiento del índice

Representar un archivo como números no elimina la sensibilidad del contenido original. Un servicio debe conservar controles de acceso durante la búsqueda: no basta con ocultar un documento en la interfaz si el índice vectorial sigue devolviéndolo a usuarios no autorizados. También hay que definir cuánto tiempo se guardan los vectores, cómo se actualizan al cambiar un documento y cómo se eliminan cuando deja de estar disponible.

En catálogos cambiantes, el índice puede quedarse obsoleto. Si se borra un producto, se corrige una ficha o se revoca un permiso, el sistema debe reflejarlo en la capa de recuperación. Los metadatos sirven para imponer filtros que el embedding no puede garantizar por sí mismo, por ejemplo idioma, fecha, región o autorización.

Lista breve para evaluar una función de búsqueda con IA

• ¿Qué formatos concretos admite y cuáles se convierten antes de indexarse?
• ¿El proveedor explica qué modelo genera las representaciones y qué medida ordena los resultados?
• ¿Puede combinar coincidencia semántica con términos exactos y filtros estructurados?
• ¿Los resultados incluyen el archivo, fragmento o página de origen para comprobarlos?
• ¿Los permisos se aplican antes de devolver candidatos y se actualizan al borrar o cambiar datos?
• ¿Se mide la calidad con consultas representativas, falsos positivos y casos sin resultado?

La idea clave

Los embeddings permiten buscar relaciones que no dependen de repetir literalmente las mismas palabras; los multimodales amplían esa comparación a distintos formatos cuando el modelo admite un espacio compartido. Son una capa de recuperación, no un chatbot autónomo, un verificador de verdad ni una solución completa de privacidad. Para construir una búsqueda útil hay que combinar representación, índice, filtros, evaluación y acceso a la fuente original.

Si quieres entender cómo se relaciona este mecanismo con los sistemas que aceptan varios formatos, consulta nuestra explicación sobre modelos de IA multimodal.

Fuentes y agradecimientos

• Google for Developers, “Embeddings: Embedding space and static embeddings”: definición de embeddings y relación de similitud entre representaciones.
• Google for Developers, “Candidate generation overview”: vectores de consulta y elementos, medidas de similitud y generación de candidatos.
• Google DeepMind, “Gemini Embedding 2”: modalidades y tareas que el proveedor atribuye al modelo.
• Google AI Edge, “Bring multimodal semantic search to the edge with EmbeddingGemma 2”, 6 de octubre de 2026: anuncio y descripción técnica del modelo en dispositivos.
• Google Cloud, “Vertex AI APIs for building search and RAG experiences”: separación entre generación de embeddings, recuperación vectorial y ranking.

Agradecemos a Google DeepMind, Google for Developers y Google Cloud la documentación técnica pública utilizada para explicar estos conceptos. Las imágenes de apoyo de este artículo son ilustraciones generadas con IA y no capturas de productos reales.