NeoMME Retriever: un mapa práctico de recuperación de candidatos para la recuperación visual de documentos

Por qué NeoMME importa ahora para la recuperación de imágenes de páginas

H Company lanzó NeoMME el 3 de septiembre de 2026 como una familia de codificadores multilingües y multimodales de 260M y 800M. El lanzamiento merece atención por una razón práctica: NeoMME Retriever puede producir embeddings densos y embeddings de interacción tardía desde la misma pasada hacia delante. Para los equipos de recuperación visual de documentos, eso desplaza el modelo de una curiosidad de benchmark a una decisión de arquitectura.

La recuperación de imágenes de páginas busca páginas renderizadas, no solo texto extraído. La evidencia relevante puede estar en una tabla, la etiqueta de un diagrama, un apéndice escaneado, una nota multilingüe o una composición en la que el contexto espacial cambia el significado. El OCR sigue importando. En PDF limpios con identificadores exactos, puede ser la línea base más fuerte. Pero un diseño solo con OCR deja fuera una clase de preguntas sobre documentos donde la propia imagen de la página contiene la señal.

El límite es donde los constructores necesitan disciplina. Un codificador de recuperación recupera páginas. No genera respuestas, no demuestra fidelidad de RAG visual ni elimina la necesidad de evaluar un VLM o modelo de lenguaje posterior. Las puntuaciones de recuperación publicadas pueden orientar la selección, pero no deben reformularse como afirmaciones sobre precisión de respuestas. La misma lógica está detrás del artículo de Optijara sobre comparabilidad de benchmarks y pruebas de relevancia: una métrica solo es útil cuando todos están de acuerdo en qué mide. Para la planificación de producción, la prueba de realidad de despliegue de modelos pequeños de Optijara plantea el mismo punto en otro contexto: medir el artefacto, el entorno de ejecución, el hardware y la carga de trabajo antes de que la arquitectura se endurezca.

La pregunta práctica no es si un índice ANN puede almacenar muchos vectores. La pregunta es si la búsqueda densa de primera etapa devuelve las páginas correctas con la frecuencia suficiente para que la interacción tardía mejore el orden. Si el conjunto de candidatos es débil, el reranker está mejorando la lista corta equivocada.

La arquitectura en lenguaje sencillo: un codificador, dos cabezales de recuperación

NeoMME usa un único Transformer bidireccional sobre tokens de texto y parches de imagen sin procesar. Los materiales de H Company describen parches de 32 por 32 píxeles, un contexto de 16.384 tokens y ninguna torre visual preentrenada separada ni modelo de lenguaje causal en la ruta de recuperación. La ficha del retriever de 260M enumera 263M parámetros, tamaño oculto de 1.024, embeddings densos de 1.024 dimensiones con dimensiones Matryoshka y embeddings multivector de 128 dimensiones por token de texto o parche de imagen. La ficha de 800M enumera 800M parámetros, tamaño oculto de 1.792 y la misma ruta multivector de 128 dimensiones.

El cabezal denso es el caballo de batalla de la búsqueda de candidatos. Crea una representación compacta que puede buscarse con similitud coseno en infraestructura vectorial conocida. Normalmente aquí empiezan los equipos de producción porque encaja con indexación ANN, filtros de metadatos, controles de acceso y registros de recuperación.

El cabezal de interacción tardía conserva una retícula más detallada de tokens o parches. Las fichas de modelo describen embeddings multivector normalizados con L2 puntuados con MeanMaxSim. Ese estilo de puntuación puede preservar mejor la evidencia local que un único vector denso cuando la consulta depende de una celda de tabla, un pie de figura, una etiqueta de diagrama o una pequeña región de una página. El inconveniente es que los detalles importan. El padding, el enmascaramiento, la normalización, la precisión de la consulta, la precisión del documento y la función exacta de puntuación pueden cambiar la calidad y el coste.

También hay checkpoints separados de Sentence Transformers. El modelo denso ST solo genera embeddings densos. El modelo ST de interacción tardía solo genera embeddings multivector. Esa no es la misma ruta operativa que el modelo Transformers predeterminado, que devuelve embeddings densos y multivector juntos mediante NeoMMEForRetrieval. Si una evaluación mezcla estos artefactos, el informe debería decirlo en lenguaje claro.

El cuello de botella de recuperación de candidatos: lo que el reranking no puede recuperar

La lección central es directa: la recuperación densa@K establece el techo para el reranking posterior. La interacción tardía puede reordenar páginas retenidas, pero no puede rescatar una página relevante que nunca llega a la lista corta.

Tome una búsqueda hipotética en un informe anual. Un usuario pregunta por una divulgación de riesgo específica. La respuesta aparece una sola vez, en letra pequeña dentro de una tabla de apéndice. Un embedding denso de página podría recuperar la sección narrativa de riesgos y varias páginas visualmente similares, mientras omite la página del apéndice con K igual a 20. El reranker de interacción tardía puede refinar esas 20 páginas, pero la página de la tabla sigue siendo invisible. Elevar K podría hacerla aparecer. Eso también añade trabajo de reranking, movimiento de memoria y quizás más páginas para que un VLM posterior inspeccione.

Por eso los equipos deberían separar recuperación de candidatos@K, nDCG@10 del reranker, corrección de respuestas y calidad de citas. Colapsarlas en una sola puntuación RAG oculta el modo de fallo. Si la precisión de respuesta mejora después de elevar K, la ganancia puede venir de la recuperación de candidatos y no de un generador mejor. Si la calidad de respuesta empeora después de la compresión, la regresión podría estar en la recuperación, el ranking o la síntesis de respuesta.

El tamaño del conjunto de candidatos es una variable real de diseño. Un K bajo puede mantener los sistemas rápidos mientras limita silenciosamente la recuperación. Un K alto mejora la probabilidad de que la página correcta llegue al reranker, pero puede aumentar la latencia de interacción tardía, las lecturas del índice, la presión de GPU o CPU y el ruido de contexto posterior. El valor correcto depende del corpus. La mezcla de idiomas, la densidad de diseño, la calidad de escaneo, la frecuencia de tablas y la letra pequeña importan. El mapa de evaluación de Vaani de Optijara usa un hábito similar: mantener visibles los segmentos en lugar de dejar que las puntuaciones agregadas oculten los casos incómodos.

El Mapa de recuperación página a candidato: un flujo de evaluación práctico

El marco recomendado para la recuperación visual estilo NeoMME es un Mapa de recuperación página a candidato. Su tarea es simple. Asocia cada consulta con las páginas que deberían ser alcanzables, la etapa que las encuentra o las pierde y las comprobaciones de respuesta que dependen de la recuperación.

Empiece con los artefactos. Fije el checkpoint exacto de NeoMME, la configuración del procesador, la revisión de la biblioteca, la herramienta de renderizado, el tamaño de imagen, los identificadores de página y el formato de almacenamiento. No asuma que una versión estable posterior de la biblioteca se comporta como la página actual de documentación. Construya juicios de relevancia a nivel de página y luego estratifíquelos. Un PDF limpio nacido digital en inglés, una tabla multilingüe, un escaneo rotado y una página densa de apéndice no deberían promediarse antes de que alguien revise los fallos. Mantenga un conjunto de reserva e inspeccione los fallos manualmente. La letra pequeña, los diseños casi duplicados, encabezados, pies de página y tablas largas son donde las demos pulidas suelen diferir del comportamiento de producción.

Luego compare rutas. La recuperación de texto OCR sigue siendo una línea base seria para PDF limpios, términos exactos, identificadores y revisión de cumplimiento. La recuperación NeoMME solo densa prueba la recuperación amplia de candidatos. La evaluación solo tardía, cuando sea viable, muestra el coste y la calidad del emparejamiento detallado. La lista corta densa más reranking tardío prueba la ruta híbrida probable. Mida recuperación de candidatos@K y nDCG@10 antes de la generación de respuestas. Luego añada latencia por etapa, bytes de índice, tiempo de preprocesamiento, corrección de respuesta desde páginas recuperadas y fidelidad de citas.

Qué dicen las mediciones publicadas y qué no incluyen

El lanzamiento de H Company informa nDCG@10 en ViDoRe v3 de 0,523 para NeoMME Retriever 260M y 0,556 para NeoMME Retriever 800M. La página del paper enlazado repite esos valores informados por los autores y afirma que el modelo 260M supera a los modelos evaluados estrictamente por debajo de 800M parámetros en ese benchmark. Las cifras antiguas de ViDoRe v1 y v2 usan nDCG@5 en las tablas de las fichas de modelo, así que no deberían compararse con nDCG@10 de v3 como si la métrica y el entorno fueran idénticos.

El lanzamiento también informa unas 51 páginas por segundo para la configuración de 260M con tamaño de entrada de imagen igualado de 2048 por 2048 en una GPU NVIDIA L40S. Léalo de forma estrecha. Se refiere a tensores preprocesados con ajustes de lote calibrados. No incluye renderizado de PDF, carga, indexación, manejo de consultas, generación posterior, orquestación de aplicación, observabilidad ni revisión humana.

Las afirmaciones de compresión necesitan el mismo cuidado. El blog describe pooling jerárquico de tokens y cuantización asimétrica que reducen el almacenamiento del índice de interacción tardía de aproximadamente 1,5 MB a unos 6 kB por página, 255 veces menos, mientras retienen más del 95 por ciento del nDCG@10 base en ViDoRe v3. Ese es un resultado específico y promediado de embeddings de interacción tardía, no una huella total de vector store. Los vectores densos, metadatos, imágenes de página, sobrecarga del índice, copias de seguridad, registros de acceso y datos de monitorización siguen contando. Los mismos materiales hablan de una configuración distinta de pooling e int8 de alrededor de 39 kB por página con más del 99 por ciento de calidad retenida. Trátelas como compensaciones separadas, no como ajustes predeterminados.

Compensaciones de ruta: recuperación visual densa, de interacción tardía e híbrida

Solo denso puede bastar para navegación gruesa, páginas tipo duplicado o recuperación de temas amplios. La interacción tardía gana su coste cuando la evidencia relevante es local, visual, tabular o se difumina fácilmente dentro de un único vector denso. La recuperación híbrida es atractiva porque una sola pasada de codificación de NeoMME puede producir ambas representaciones. Aun así, la ruta híbrida solo funciona cuando la lista corta de primera etapa es lo bastante amplia para que el reranker vea las páginas correctas.

La planificación de recursos debería ser explícita. Si un equipo decide si ejecutar la recuperación localmente, usar inferencia alojada o dividir cargas de trabajo, las preguntas se parecen a las de la prueba de realidad de despliegue de modelos pequeños de Optijara: artefacto exacto, entorno de ejecución exacto, hardware exacto, carga de trabajo exacta y condiciones claras de reversión.

Lista de implementación, errores comunes y advertencias

Los errores comunes son ordinarios, que es exactamente por lo que siguen ocurriendo. Los equipos tratan el nDCG del reranker como precisión de respuesta. Reducen K antes de medir la recuperación de candidatos. Confunden la compresión de embeddings con el coste total de almacenamiento. Asumen que la compatibilidad multilingüe nativa significa rendimiento equilibrado en todos los idiomas. Se saltan las líneas base de texto OCR. Ignoran el tiempo de renderizado porque el benchmark empieza después del preprocesamiento. Olvidan que los pesos de modelo Apache 2.0 no resuelven los permisos de documentos.

Las advertencias operativas pertenecen a la revisión de diseño. La distribución de consultas puede desplazarse. Los embeddings en caché pueden quedar obsoletos tras actualizaciones de documentos. Los documentos privados pueden requerir controles más estrictos de almacenamiento, retención y acceso. Los conjuntos de evaluación pueden sobrerrepresentar páginas limpias. Un VLM posterior puede alucinar incluso cuando la recuperación es buena, o citar la página equivocada aunque la página correcta esté presente. La capacidad multilingüe nativa no demuestra calidad de respuesta en árabe, idiomas de bajos recursos, manuscritos o sin OCR para un corpus determinado.

{
  "model_family": "NeoMME Retriever",
  "retrieval_routes": ["ocr_text_baseline", "dense_only", "late_interaction", "dense_shortlist_plus_rerank"],
  "must_measure": ["candidate_recall_at_k", "ndcg_at_10", "per_stage_latency", "index_bytes", "answer_correctness", "citation_faithfulness"],
  "excluded_costs_to_add_back": ["pdf_rendering", "upload", "indexing", "metadata", "page_images", "generation", "observability"],
  "deployment_caveats": ["dense_recall_caps_reranking", "compression_is_workload_specific", "retrieval_is_not_answer_generation"]
}

Un próximo experimento útil es pequeño y disciplinado: elegir documentos representativos, fijar artefactos, construir juicios a nivel de página, barrer K, probar la compresión por separado y luego conectar las páginas recuperadas con comprobaciones de respuesta y citas. Si su equipo necesita ayuda, Optijara puede ayudar a construir ese mapa de evaluación antes de que las decisiones de arquitectura se conviertan en coste de producción.