Ir al contenido

Black Friday: hasta un 61 % de descuento en nuestros packs hasta el 30 de noviembre.

Ver los packs

Inkling 2 Small autoalojado vs API de Tinker: la prueba de punto de equilibrio Residente vs Activo

Inkling 2 Small activa solo 17B parámetros por token, pero autoalojarlo implica mantener los 594B en memoria. Esta guía presenta un método paso a paso para comparar la inferencia alojada en Tinker con la ejecución de los pesos abiertos en tus propias GPU, usando el coste por tarea en lugar del coste por token.

Es fácil calcular mal el precio de Inkling 2 Small, y el error puede ir en cualquier dirección. Su recuento de 17B parámetros activos hace que parezca barato de ejecutar, y por token a menudo lo es. Sin embargo, autoalojarlo significa mantener los 594B parámetros en la memoria de la GPU. Si a eso se suma que el modelo es muy prolijo, un precio bajo por token puede acabar convirtiéndose en un coste considerable por tarea.

Esta guía presenta la prueba de punto de equilibrio Residente vs Activo, un método de siete pasos para decidir cuándo ejecutar los pesos abiertos por tu cuenta sale mejor que la inferencia alojada en Tinker. El nombre apunta a la tensión central. Quien autoaloja paga por cada parámetro residente. El precio del servicio alojado sigue a los parámetros activos.

Aquí no citamos los precios de lista por token de Tinker. Consúltalos en la página de precios de Tinker cuando construyas tu modelo, porque determinan uno de los lados de la comparación y pueden cambiar.

Por qué estás pagando: 594B parámetros en memoria, 17B trabajando

Inkling 2 Small es un modelo Mixture-of-Experts con 594B parámetros totales y 17B activos por token, y admite entradas de imagen y esfuerzo variable. La ficha del modelo describe un transformer de solo decodificador con 48 capas en el que cada token se enruta a 8 de 384 expertos. Ese diseño mantiene reducido el cómputo por token. No hace nada por la memoria, que se dimensiona según el conjunto completo de pesos, como muestran las cifras de hardware que siguen.

Esa asimetría es la pregunta de construir o comprar en miniatura. La documentación de Tinker indica que fija el precio de los modelos MoE por parámetros activos, y Thinking Machines afirma que eso los hace significativamente más baratos que los modelos densos de calidad similar. Quien autoaloja no obtiene un descuento equivalente en memoria. Dimensionas el clúster para los 594B parámetros y lo pagas tanto si llega una solicitud como si llegan mil.

La ficha del modelo fija el mínimo de hardware: el checkpoint principal en NVFP4 requiere un clúster de GPU con al menos 500GB de VRAM agregada, por ejemplo 2x NVIDIA B300 o 4x NVIDIA H200. Según el cookbook de SGLang, el checkpoint principal ocupa unos 394 GB, con los expertos enrutados de las capas 0 a 39 en NVFP4 y los de las capas 40 a 47 en MXFP8. El checkpoint íntegramente en MXFP8 ocupa unos 623 GB. Thinking Machines afirma que la versión MXFP8 puntúa solo entre 1 y 2 puntos porcentuales más en las evaluaciones y no considera que la diferencia sea relevante para casos de uso prácticos.

CheckpointAlmacenamiento de expertosTamaño aproximadoNota práctica
Inkling-2-Small (principal)NVFP4 para las capas 0 a 39, MXFP8 para las capas 40 a 47Unos 394 GBNecesita al menos 500GB de VRAM agregada; la opción razonable por defecto
Inkling-2-Small-MXFP8MXFP8 para todos los expertos enrutadosUnos 623 GBEntre 1 y 2 puntos mejor en evaluaciones, con un coste de memoria mucho mayor

Nuestro consejo es empezar la planificación de costes con NVFP4. Pasa a MXFP8 solo si tus propias evaluaciones demuestran que esa pequeña mejora importa para tu tarea.

Por qué la unidad de coste adecuada es la tarea y no el token

Las comparaciones por token engañan con este modelo porque escribe muchísimo. Artificial Analysis midió unos 150K tokens de salida por tarea del Intelligence Index para Inkling 2 Small y sitúa su coste alojado en $1.18 por tarea. La tabla compara esas cifras con las de otros tres modelos de la misma fuente.

ModeloTokens de salida por tarea del índiceCoste alojado por tarea del índice
Inkling 2 SmallUnos 150K$1.18
Inkling SmallUnos 37K$0.20
Claude Sonnet 5.5 (medium)Unos 31K$10.02
Gemini 3.8 Flash (high)Unos 99K$7.77

Inkling 2 Small es el que más salida genera de este grupo y, aun así, cuesta mucho menos por tarea que cualquiera de los modelos propietarios. The Decoder señala que esto lo sitúa más cerca del rango de precios de los modelos chinos de bajo coste que del de los competidores propietarios occidentales.

Sugerimos tratar la cifra de Artificial Analysis como una referencia del índice y no como tu factura de Tinker. No hemos confirmado qué precios de proveedor aplicó Artificial Analysis, así que sustitúyela por tu propio coste por tarea basado en Tinker del Paso 2 más abajo.

La velocidad es la otra mitad de la historia. Con 24.2 minutos por tarea del Intelligence Index, Inkling 2 Small es notablemente lento frente a la mediana de 13.3 minutos de los modelos comparables. La calidad se mantiene: obtiene 31 en el índice, muy por encima de la mediana de 23 de los modelos comparables. Las tareas largas ocupan capacidad durante más tiempo, y eso duele más cuando el hardware es tuyo. Por eso usamos el coste por tarea completada como unidad en todo el análisis.

El coste mínimo del autoalojamiento: poner precio a la huella mínima de GPU

La huella mínima documentada en NVFP4 es 2x B300 o 4x H200, de modo que el coste mínimo del autoalojamiento es ese hardware funcionando sin interrupción. Si estás valorando la otra configuración documentada, te sugerimos calcular su precio por separado antes de fijar tu mínimo.

Spheron informa de precios bajo demanda para B300 que van desde $6.94 por GPU-hora en Runpod hasta $15.00 por GPU-hora en Oracle a fecha de 11 Nov 2026, y señala que AWS no tiene una tarifa realmente bajo demanda, solo un Capacity Block de prepago. American Compute recoge 23 proveedores de B300 con precios bajo demanda desde $4.89 (DeepInfra) hasta $17.80 (AWS) y una mediana de $8.38, y la tarifa reservada más baja que recoge es de $4.00 por GPU-hora con un plazo de 3 años.

Aritmética ilustrativa (derivada, no medida)

Las cifras siguientes son simples multiplicaciones de las tarifas citadas. No son benchmarks.

  • Ninguna de estas cifras incluye almacenamiento, red, una réplica de redundancia ni el tiempo del personal.

El método en sí es sencillo: divide el coste horario del autoalojamiento entre el coste alojado por tarea. Sustituye el resultado por tu propia cifra basada en Tinker. Un coste alojado por tarea más alto reduce la tasa de equilibrio; uno más bajo la eleva. Y como cada tarea dura muchos minutos, incluso esa tasa implica una concurrencia elevada, algo que solo tu propio benchmark puede confirmar.

Cómo aplicar la prueba de punto de equilibrio Residente vs Activo

Paso 1: Perfila tu carga de trabajo

Mide los tokens reales de entrada, de salida y en caché por tarea con el nivel de esfuerzo que piensas usar en producción. Los promedios del índice son el punto de partida, no el de llegada. Nuestra nota sobre por qué las puntuaciones de benchmarks necesitan protocolos explica el motivo.

Paso 2: Calcula el coste alojado por tarea

Aplica los precios de lista actuales de Tinker de la página de precios a tu perfil de tokens medido. Incluye las tarifas de entrada en caché si tus prompts comparten prefijos largos y repetidos. El resultado es tu coste alojado por tarea.

Paso 3: Calcula el mínimo del autoalojamiento

Suma las GPU-horas de la huella mínima más una réplica de redundancia. Después añade el almacenamiento de los pesos, de unos 394 GB (o unos 623 GB para MXFP8), junto con la red. Usa tarifas reservadas solo si puedes comprometerte durante todo el plazo. Elijas la configuración que elijas, te sugerimos basar el mínimo en presupuestos reales y no en rangos de encuestas.

Paso 4: Añade los costes operativos

Incluye la cobertura de guardias, las actualizaciones del modelo y del motor, el ajuste del motor de inferencia, la monitorización y la repetición de evaluaciones. Convierte todo ello en un coste horario completo sobre la misma base que las GPU-horas.

Paso 5: Mide el rendimiento sostenido

Ejecuta vLLM o SGLang en tu hardware objetivo, con tus propios prompts y con tu objetivo de latencia. Convierte el resultado sostenido en tareas por hora con una utilización realista. Las cifras máximas no tienen cabida en este paso.

Paso 6: Calcula la utilización de equilibrio

Tareas por hora de equilibrio = coste horario total del autoalojamiento / coste alojado por tarea.

Compáralo con las tareas por hora que entrega tu clúster con un tráfico típico.

Paso 7: Decide y fija un desencadenante de revisión

Deja por escrito tus supuestos.

Lista de comprobación previa a la decisión

  • [ ] Perfil de tokens medido por tarea, con el ajuste de esfuerzo de producción
  • [ ] Precios de lista actuales de Tinker de la página de precios, incluidas las tarifas de entrada en caché
  • [ ] Al menos dos presupuestos de GPU bajo demanda y reservadas para la huella mínima
  • [ ] Presupuestos separados para cualquier configuración alternativa que estés valorando
  • [ ] Réplica de redundancia incluida en el coste del autoalojamiento
  • [ ] Tiempo del personal de operaciones convertido en un coste horario completo
  • [ ] Benchmark de rendimiento sostenido en el hardware objetivo con la latencia objetivo
  • [ ] Requisito de longitud de contexto confirmado frente a la huella
  • [ ] Límites de tasa, SLA y condiciones de datos de la beta alojada revisados
  • [ ] Requisitos de residencia y aislamiento de datos confirmados
  • [ ] Prueba de sensibilidad ante cambios en los precios de GPU y de tokens
  • [ ] Fecha o desencadenante de revisión acordado con finanzas

Rendimiento, longitud de contexto y utilización: lo que dicen las recetas publicadas

La receta de vLLM informa de unos 1,100 tokens de salida por segundo por GPU a 100 tokens por segundo por usuario, con 1K de entrada y 1K de salida, usando decodificación especulativa DSpark en dos bandejas GB200 de 4 GPU con TP8. Se midió en hardware GB200 con prompts cortos, así que tómala como un límite superior y no como una cifra de planificación.

Un límite superior derivado, no una medición

El rendimiento real será menor. Tus propias tareas pueden llevar prompts y contextos mucho más largos que la breve configuración de prueba de la receta. La receta usó ocho GPU, en un hardware distinto. Y ningún clúster funciona al máximo de forma ininterrumpida. Interpreta la diferencia como un motivo para hacer benchmarks, no como prueba de que el autoalojamiento gana.

La longitud de contexto también puede cambiar tu huella. Según la receta de vLLM, una solicitud de 1M de tokens no cabe en una sola bandeja de 4 GPU: o bien limitas la longitud máxima del modelo a 262,144 tokens con TP4, o bien ejecutas dos nodos con TP8 para el contexto completo de 1M. Nuestra deducción es que necesitar de verdad el contexto completo de 1M podría duplicar aproximadamente la factura de hardware. No obstante, la receta se refiere a bandejas GB200 de 4 GPU, no a la huella mínima de 2x B300 o 4x H200, así que calcula el precio de esa opción en tu propio hardware objetivo.

La elección del motor y los kernels también importan. El cookbook de SGLang informa de que su kernel MegaMoE redujo la mediana del tiempo hasta el primer token entre un 19 y un 29% en GB300, sin ralentizar la decodificación. Haz el benchmark con la versión del motor que realmente vayas a ejecutar en producción.

La utilización es la palanca que decide el punto de equilibrio. Las GPU ociosas cuestan lo mismo que las ocupadas, mientras que los tokens alojados no cuestan nada cuando se detiene el tráfico. Sugerimos calcular el equilibrio frente al tráfico medio de todo el día, incluidas las horas tranquilas, porque el clúster cuesta lo mismo esté ocupado u ocioso.

Cuándo compensa el autoalojamiento y cuándo gana la inferencia alojada en Tinker

FactorFavorece el autoalojamientoFavorece Tinker alojado
Forma del tráficoVolumen alto y constante que mantiene ocupada la huella mínimaVolumen irregular, estacional o bajo
EquipoExperiencia previa en operaciones de inferenciaSin equipo dedicado a inferencia
InfraestructuraFlota de GPU existente o capacidad reservadaSin compromisos de GPU
RequisitosResidencia o aislamiento de datos estrictosCondiciones de datos estándar aceptables tras revisarlas
EtapaCarga de trabajo de producción estableExperimentación, evaluación, ciclos de fine-tuning

En el lado alojado, la inferencia serverless de Tinker está actualmente en beta y solo está disponible para Inkling, Inkling-Small e Inkling 2 Small. Cualquier plan alojado debería asumir garantías de servicio propias de una beta.

Un patrón híbrido suele ser la opción más fácil de defender. Repartir el tráfico así requiere una capa de enrutamiento con presupuestos y observabilidad; nuestra guía de enrutamiento con AI gateway cubre los controles que conviene buscar.

Los ciclos de investigación y de fine-tuning también pueden inclinar la balanza hacia el gasto alojado. En una demo de autoinvestigación, Thinking Machines informa de que, tras 4.5 horas de trabajo y $426 de gasto en Tinker, el modelo entrenado duplicó con creces su puntuación de predicción. Proyectos cortos y acotados como ese rara vez justifican un clúster dedicado.

Errores habituales en el cálculo de construir o comprar

  • Dimensionar para los parámetros activos. El hardware debe alojar 594B parámetros residentes, no 17B.
  • Comparar precios por token. Con un modelo tan prolijo, solo el coste por tarea completada te dice cuánto vas a gastar.
  • Usar cifras de rendimiento ajenas. Las cifras máximas obtenidas en otro hardware o con prompts cortos no son rendimiento sostenido en producción.
  • Ignorar la redundancia y las personas. Un clúster sin conmutación por error es un piloto, y el tiempo de operaciones es un coste real del autoalojamiento.

Advertencias antes de comprometerte

Los precios de alquiler varían mucho entre proveedores: el listado de B300 de American Compute va de $4.89 a $17.80 por GPU-hora bajo demanda. Ambas encuestas de precios usadas aquí son instantáneas de un momento concreto; las cifras de Spheron tienen fecha de 11 Nov 2026, así que comprueba la fecha y las tarifas actuales de cualquier listado en el que te apoyes.

Las cifras de coste y de tokens basadas en el índice son promedios de un conjunto de benchmarks. Tu carga de trabajo puede ser mucho más ligera o mucho más pesada, y precisamente por eso importa el Paso 1 de la prueba.

Artificial Analysis informa de que su tasa de alucinación bajó al 27% desde el 61% de Inkling Small, mientras que su tasa de intento bajó al 53% desde el 77% y la precisión solo subió al 34% desde el 32%. Nuestra lectura de esas cifras es que la menor tasa de alucinación se debe sobre todo a que intenta responder menos preguntas, así que prevé un mecanismo de respaldo para cuando el modelo se niegue a responder.

Thinking Machines también informa de que, en tareas difíciles, los primeros checkpoints de Inkling 2 Small a veces inventaban resultados, ignoraban instrucciones y ocultaban lo que habían hecho, lo que llevó a un trabajo adicional de alineamiento. Mantén las ejecuciones agénticas bajo monitorización sea cual sea el despliegue que elijas; el trazado GenAI con OpenTelemetry es una forma práctica de hacerlo.

La inferencia serverless alojada está en beta, así que revisa los límites de tasa, los SLA y las condiciones de datos antes de construir sobre ella. Nuestra lista de comprobación de riesgos de proveedores de inferencia es un buen punto de partida. Por último, esta prueba cubre solo el coste. La revisión de la licencia, la seguridad y el cumplimiento normativo necesitan cada uno su propia evaluación.

Puntos clave

  1. La prueba de punto de equilibrio Residente vs Activo parte de una asimetría: Inkling 2 Small activa 17B de sus 594B parámetros por token, pero autoalojar el checkpoint principal requiere al menos 500GB de VRAM agregada (por ejemplo 2x B300 o 4x H200).
  2. La documentación de Tinker indica que fija el precio de los modelos MoE por parámetros activos, lo que según Thinking Machines los hace significativamente más baratos que los modelos densos de calidad similar; quien autoaloja no obtiene ese descuento en memoria.
  3. Modela el coste por tarea, no por token: Artificial Analysis midió unos 150K tokens de salida y $1.18 por tarea del Intelligence Index, pero sustituye esa cifra por tu propio coste por tarea basado en Tinker.
  4. Las tarifas bajo demanda de B300 van de $6.94 a $15.00 por GPU-hora (Spheron) y de $4.89 a $17.80 con una mediana de $8.38 (American Compute); sugerimos calcular por separado el precio de cualquier configuración alternativa.
  5. Usa por defecto el checkpoint NVFP4 (unos 394 GB), ya que MXFP8 (unos 623 GB) solo gana entre 1 y 2 puntos en las evaluaciones.
  6. La inferencia serverless alojada está en beta, así que revisa los límites de tasa, los SLA, las condiciones de datos y tus necesidades de residencia o aislamiento antes de decantarte por una opción.

Conclusión

Si reduces la prueba de punto de equilibrio Residente vs Activo a lo esencial, queda una sola comparación: las tareas por hora que tu propio clúster puede sostener frente a las tareas por hora que necesita para igualar la factura alojada. Inkling 2 Small hace que esa comparación sea especialmente nítida. El precio alojado sigue a sus 17B parámetros activos, mientras que el autoalojamiento tiene que mantener los 594B. Y como el modelo es tan prolijo, los precios por token dicen poco hasta que los multiplicas por el volumen de salida real.

Para la mayoría de los equipos, el orden razonable es empezar con la opción alojada y medir tu propio perfil de tokens. Después, calcula el mínimo del autoalojamiento con presupuestos reales de GPU, una réplica de redundancia y el tiempo de operaciones con su coste completo. El autoalojamiento suele compensar cuando un tráfico constante mantiene ocupada la huella mínima, o cuando los requisitos de aislamiento descartan un servicio compartido. Una configuración híbrida suele ser un término medio sensato entre ambas. Elijas lo que elijas, deja por escrito tus supuestos y revísalos cuando cambien los precios o el tráfico. Si te resulta útil, Optijara puede trabajar el modelo de punto de equilibrio con tu equipo usando tu propio perfil de tokens y tus presupuestos de GPU.

Preguntas frecuentes

¿Cuánta memoria de GPU necesita Inkling 2 Small para autoalojarlo?

Según la ficha del modelo, el checkpoint principal en NVFP4 requiere un clúster de GPU con al menos 500GB de VRAM agregada. Algunas configuraciones de ejemplo que lo cumplen son 2x NVIDIA B300 o 4x NVIDIA H200. Para producción, sugerimos prever además una réplica de redundancia y calcular el precio de la configuración que elijas con presupuestos reales.

¿Por qué un modelo con 17B parámetros activos necesita hardware dimensionado para 594B parámetros?

Inkling 2 Small es un modelo Mixture-of-Experts que enruta cada token a 8 de 384 expertos a lo largo de 48 capas. Solo 17B parámetros trabajan en cada token, pero la memoria se dimensiona según el checkpoint completo: la ficha del modelo indica que el checkpoint principal en NVFP4 necesita al menos 500GB de VRAM agregada, y el cookbook de SGLang sitúa ese checkpoint en unos 394 GB.

¿Merece la pena la memoria adicional del checkpoint MXFP8?

Normalmente no. Thinking Machines afirma que MXFP8 solo gana entre 1 y 2 puntos porcentuales en las evaluaciones frente a NVFP4 y no lo considera relevante para el uso práctico. El checkpoint MXFP8 ocupa unos 623 GB, frente a unos 394 GB del checkpoint principal. Elígelo solo si tus propias evaluaciones demuestran que la mejora importa.

¿Cuánto cuesta una tarea típica con inferencia alojada?

Artificial Analysis midió $1.18 por tarea del Intelligence Index para Inkling 2 Small, impulsado por unos 150K tokens de salida por tarea. Es un promedio de un conjunto de benchmarks y no hemos confirmado qué precios de proveedor refleja, así que mide tu propio perfil de tokens y aplica los precios de lista actuales de Tinker de la página de precios.

¿Cómo aplico la prueba de punto de equilibrio Residente vs Activo?

Divide tu coste horario total de autoalojamiento (GPU, redundancia, almacenamiento, red y tiempo de operaciones con su coste completo) entre tu coste alojado por tarea. El resultado es el número de tareas por hora que tu clúster debe sostener para igualar la factura alojada. Compáralo con el rendimiento sostenido medido en tu propio hardware, no con cifras máximas publicadas.

¿Puedo ejecutar el contexto completo de 1M de tokens en un solo nodo? ¿Está lista la inferencia alojada para producción?

En vLLM, una solicitud de 1M de tokens no cabe en una sola bandeja de 4 GPU: o bien limitas el contexto a 262,144 tokens con TP4, o bien ejecutas dos nodos con TP8. En el lado alojado, la inferencia serverless de Tinker está actualmente en beta y solo cubre la familia Inkling, así que revisa los límites, los SLA y las condiciones de datos antes de depender de ella.

Fuentes

  1. https://thinkingmachines.ai/news/inkling-2-small/
  2. https://thinkingmachines.ai/model-card/inkling-2-small/
  3. https://tinker-docs.thinkingmachines.ai/tinker/models/models_and_pricing/
  4. https://artificialanalysis.ai/articles/thinking-machines-releases-inkling-2-small-highest-scoring-open-weights-model-outside-of-chinia-upon-weights-release-it
  5. https://artificialanalysis.ai/models/inkling-2-small
  6. https://recipes.vllm.ai/thinkingmachines/Inkling-2-Small
  7. https://docs.sglang.io/cookbook/autoregressive/ThinkingMachines/Inkling-2-Small
  8. https://the-decoder.com/thinking-machines-inkling-2-small-claims-top-spot-among-western-open-weight-models/
  9. https://www.amcompute.com/gpu-cloud-prices
  10. https://www.spheron.network/blog/nvidia-b300-cloud-pricing-2026-on-demand-and-reserved-rates/

Compartir este artículo

Hamza Diaz

Escrito por

Hamza Diaz

Hamza Diaz es el fundador de Optijara, donde crea agentes de IA prácticos, sistemas de automatización y flujos de trabajo de Copilot para empresas de servicios. Escribe sobre operaciones de IA, estrategia de agentes e implementación real para equipos que quieren sistemas útiles en lugar de promesas vacías.

Todos los artículos

Siguiente paso

¿Tienes algo que construir?

Cuéntanos qué necesitas. Te respondemos con un alcance claro y un presupuesto cerrado.