Auto-hébergement d'Inkling 2 Small ou API Tinker : le test de rentabilité « résident vs actif »
Inkling 2 Small n'active que 17B paramètres par token, mais l'auto-hébergement impose de garder les 594B en mémoire. Ce guide propose une méthode pas à pas pour comparer l'inférence hébergée sur Tinker et l'exécution des poids ouverts sur vos propres GPU, en raisonnant en coût par tâche plutôt qu'en coût par token.
Le prix d'Inkling 2 Small est facile à mal estimer, et l'erreur peut aller dans les deux sens. Avec 17B paramètres actifs, le modèle semble peu coûteux à exécuter, et par token, il l'est souvent. Pourtant, l'auto-hébergement suppose de conserver les 594B paramètres en mémoire GPU. Ajoutez à cela que le modèle est très verbeux, et un prix par token modeste peut malgré tout se traduire par un coût par tâche conséquent.
Ce guide présente le test du seuil de rentabilité « résident vs actif », une méthode en sept étapes pour déterminer quand exécuter vous-même les poids ouverts devient plus avantageux que l'inférence hébergée sur Tinker. Son nom résume la tension centrale. En auto-hébergement, vous payez pour chaque paramètre résident. La tarification hébergée, elle, suit les paramètres actifs.
Nous ne citons pas ici les tarifs par token de Tinker. Récupérez-les sur la page de tarification de Tinker au moment de construire votre modèle, car ils fixent l'un des deux termes de la comparaison et peuvent évoluer.
Ce que vous payez : 594B paramètres en mémoire, 17B au travail
Inkling 2 Small est un modèle Mixture-of-Experts comptant 594B paramètres au total, dont 17B actifs par token ; il accepte les entrées image et un niveau d'effort variable. La fiche du modèle décrit un transformer à décodeur seul de 48 couches, dans lequel chaque token est routé vers 8 experts sur 384. Cette architecture limite le calcul par token. Elle n'apporte rien côté mémoire, dimensionnée par l'ensemble des poids, comme le montrent les chiffres matériels ci-dessous.
Cette asymétrie résume à elle seule la question « construire ou acheter ». La documentation de Tinker indique que les modèles MoE sont facturés selon leurs paramètres actifs, et Thinking Machines affirme que cela les rend nettement moins chers que des modèles denses de qualité comparable. En auto-hébergement, aucune remise équivalente ne s'applique à la mémoire. Vous dimensionnez le cluster pour les 594B paramètres et vous le payez, qu'il reçoive une requête ou mille.
La fiche du modèle fixe le plancher matériel : le checkpoint NVFP4 principal exige un cluster GPU disposant d'au moins 500GB de VRAM agrégée, par exemple 2x NVIDIA B300 ou 4x NVIDIA H200. Selon le cookbook SGLang, le checkpoint principal pèse environ 394 GB, avec les experts routés des couches 0 à 39 en NVFP4 et ceux des couches 40 à 47 en MXFP8. Le checkpoint entièrement MXFP8 atteint environ 623 GB. Thinking Machines indique que la version MXFP8 ne gagne que 1 à 2 points de pourcentage sur les évaluations et ne juge pas cet écart significatif pour des cas d'usage concrets.
| Checkpoint | Stockage des experts | Taille approximative | Remarque pratique |
|---|---|---|---|
| Inkling-2-Small (principal) | NVFP4 pour les couches 0 à 39, MXFP8 pour les couches 40 à 47 | Environ 394 GB | Nécessite au moins 500GB de VRAM agrégée ; le choix raisonnable par défaut |
| Inkling-2-Small-MXFP8 | MXFP8 pour tous les experts routés | Environ 623 GB | 1 à 2 points de mieux sur les évaluations, pour un coût mémoire bien plus élevé |
Notre conseil : commencez la planification des coûts avec NVFP4. Ne passez à MXFP8 que si vos propres évaluations montrent que ce petit gain compte pour votre tâche.
Pourquoi la tâche, et non le token, est la bonne unité de coût
Avec ce modèle, les comparaisons par token sont trompeuses, car il écrit énormément. Artificial Analysis a mesuré environ 150K tokens de sortie par tâche de l'Intelligence Index pour Inkling 2 Small et estime son coût hébergé à $1.18 par tâche. Le tableau met ces chiffres en regard de trois autres modèles issus de la même source.
| Modèle | Tokens de sortie par tâche de l'index | Coût hébergé par tâche de l'index |
|---|---|---|
| Inkling 2 Small | Environ 150K | $1.18 |
| Inkling Small | Environ 37K | $0.20 |
| Claude Sonnet 5.5 (medium) | Environ 31K | $10.02 |
| Gemini 3.8 Flash (high) | Environ 99K | $7.77 |
Inkling 2 Small produit le plus de sortie de ce groupe, et pourtant il coûte bien moins cher par tâche que les deux modèles propriétaires. The Decoder note que cela le rapproche davantage de la gamme de prix des modèles chinois à bas coût que de celle des concurrents propriétaires occidentaux.
Nous vous suggérons de considérer le chiffre d'Artificial Analysis comme une référence d'index, et non comme votre facture Tinker. Nous n'avons pas vérifié quels tarifs de fournisseur Artificial Analysis a appliqués ; remplacez donc ce chiffre par votre propre coût par tâche basé sur Tinker, calculé à l'étape 2 ci-dessous.
La vitesse constitue l'autre moitié de l'histoire. Avec 24.2 minutes par tâche de l'Intelligence Index, Inkling 2 Small est nettement lent par rapport à la médiane de 13.3 minutes des modèles comparables. La qualité, elle, tient bon : il obtient 31 sur l'index, bien au-dessus de la médiane de 23 des modèles comparables. Les tâches longues mobilisent la capacité plus longtemps, ce qui pèse davantage dès lors que vous possédez le matériel. C'est pourquoi nous utilisons le coût par tâche menée à terme comme unité tout au long de ce guide.
Le plancher de coût de l'auto-hébergement : chiffrer l'empreinte GPU minimale
L'empreinte NVFP4 documentée la plus réduite est de 2x B300 ou 4x H200 ; le plancher de coût de l'auto-hébergement correspond donc à ce matériel fonctionnant en continu. Si vous envisagez l'autre configuration documentée, nous vous suggérons de la chiffrer séparément avant d'arrêter votre plancher.
Spheron indique des tarifs B300 à la demande allant de $6.94 par GPU-heure chez Runpod à $15.00 par GPU-heure chez Oracle au 11 nov. 2026, et précise qu'AWS ne propose pas de véritable tarif à la demande, seulement un Capacity Block prépayé. American Compute recense 23 fournisseurs de B300 avec des prix à la demande allant de $4.89 (DeepInfra) à $17.80 (AWS), pour une médiane de $8.38 ; le tarif réservé le plus bas qu'il mentionne est de $4.00 par GPU-heure sur un engagement de 3 ans.
Calcul illustratif (dérivé, non mesuré)
Les chiffres ci-dessous résultent d'une simple multiplication des tarifs cités. Ce ne sont pas des benchmarks.
- Aucun de ces chiffres n'inclut le stockage, le réseau, une réplique de redondance ou le temps du personnel.
La méthode en elle-même est simple : divisez le coût horaire de l'auto-hébergement par le coût hébergé par tâche. Remplacez par votre propre valeur basée sur Tinker. Un coût hébergé par tâche plus élevé abaisse le seuil de rentabilité ; un coût plus faible le relève. Et comme chaque tâche dure de nombreuses minutes, même ce seuil suppose une forte concurrence de requêtes, que seul votre propre benchmark peut confirmer.
Appliquer le test du seuil de rentabilité « résident vs actif »
Étape 1 : profiler votre charge de travail
Mesurez les tokens réels d'entrée, de sortie et en cache par tâche, au niveau d'effort que vous prévoyez d'utiliser en production. Les moyennes d'index sont un point de départ, pas un point d'arrivée. Notre article sur la nécessité de protocoles pour les scores de benchmark explique pourquoi.
Étape 2 : chiffrer le coût hébergé par tâche
Appliquez les tarifs Tinker en vigueur, issus de la page de tarification, à votre profil de tokens mesuré. Intégrez les tarifs d'entrée en cache si vos prompts partagent de longs préfixes répétés. Le résultat obtenu est votre coût hébergé par tâche.
Étape 3 : chiffrer le plancher en auto-hébergement
Additionnez les GPU-heures de l'empreinte minimale et d'une réplique de redondance. Ajoutez ensuite le stockage des poids, environ 394 GB (ou environ 623 GB pour MXFP8), ainsi que le réseau. N'utilisez les tarifs réservés que si vous pouvez vous engager sur toute la durée. Quelle que soit la configuration retenue, nous vous suggérons de fonder ce plancher sur des devis réels plutôt que sur des fourchettes d'enquête.
Étape 4 : ajouter les frais d'exploitation
Incluez l'astreinte, les mises à niveau du modèle et du moteur, l'optimisation du moteur d'inférence, la supervision et la relance des évaluations. Convertissez le tout en coût horaire chargé, sur la même base que les GPU-heures.
Étape 5 : mesurer le débit soutenu
Exécutez vLLM ou SGLang sur votre matériel cible, avec vos propres prompts, à votre objectif de latence. Convertissez le résultat soutenu en tâches par heure à un taux d'utilisation réaliste. Les chiffres de pointe n'ont pas leur place dans cette étape.
Étape 6 : calculer le taux d'utilisation de rentabilité
Tâches par heure au seuil de rentabilité = coût horaire total de l'auto-hébergement / coût hébergé par tâche.
Comparez ce résultat au nombre de tâches par heure que votre cluster traite avec un trafic habituel.
Étape 7 : décider, et fixer un déclencheur de réexamen
Consignez vos hypothèses par écrit.
Liste de contrôle avant décision
- [ ] Profil de tokens mesuré par tâche, au réglage d'effort de production
- [ ] Tarifs Tinker en vigueur issus de la page de tarification, y compris les tarifs d'entrée en cache
- [ ] Au moins deux devis GPU, à la demande et réservés, pour l'empreinte minimale
- [ ] Devis distincts pour toute configuration alternative envisagée
- [ ] Réplique de redondance incluse dans le coût d'auto-hébergement
- [ ] Temps du personnel d'exploitation converti en coût horaire chargé
- [ ] Benchmark de débit soutenu sur le matériel cible à la latence cible
- [ ] Besoin en longueur de contexte vérifié par rapport à l'empreinte
- [ ] Limites de débit, SLA et conditions relatives aux données de la bêta hébergée examinés
- [ ] Exigences de résidence et d'isolation des données confirmées
- [ ] Test de sensibilité aux variations des prix GPU et des prix par token
- [ ] Date ou déclencheur de réexamen convenu avec la direction financière
Débit, longueur de contexte et taux d'utilisation : ce que disent les recettes publiées
La recette vLLM fait état d'environ 1,100 tokens de sortie par seconde et par GPU à 100 tokens par seconde et par utilisateur, avec 1K en entrée et 1K en sortie, en utilisant le décodage spéculatif DSpark sur deux plateaux GB200 de 4 GPU en TP8. Ces mesures ont été réalisées sur du matériel GB200 avec des prompts courts : considérez-les comme une borne supérieure, et non comme une valeur de planification.
Une borne supérieure dérivée, pas une mesure
Le débit réel sera inférieur. Vos propres tâches peuvent comporter des prompts et des contextes bien plus longs que la courte configuration de test de la recette. La recette utilisait huit GPU, sur un matériel différent. Et aucun cluster ne tourne à plein régime en continu. Voyez cet écart comme une raison de faire votre propre benchmark, et non comme la preuve que l'auto-hébergement l'emporte.
La longueur de contexte peut aussi modifier votre empreinte. Selon la recette vLLM, une requête de 1M tokens ne tient pas sur un seul plateau de 4 GPU : il faut soit plafonner la longueur maximale du modèle à 262,144 tokens en TP4, soit exécuter deux nœuds en TP8 pour disposer du contexte complet de 1M. Nous en déduisons qu'un besoin réel du contexte complet de 1M pourrait à peu près doubler la facture matérielle. La recette porte toutefois sur des plateaux GB200 de 4 GPU, et non sur l'empreinte minimale de 2x B300 ou 4x H200 ; chiffrez donc cette option sur votre propre matériel cible.
Le choix du moteur et des kernels compte également. Le cookbook SGLang indique que son kernel MegaMoE a réduit le temps médian jusqu'au premier token de 19 à 29% sur GB300, sans ralentissement du décodage. Faites vos benchmarks avec la version du moteur que vous exécuterez réellement en production.
Le taux d'utilisation est le levier qui détermine le seuil de rentabilité. Des GPU inactifs coûtent autant que des GPU occupés, alors que les tokens hébergés ne coûtent rien quand le trafic s'arrête. Nous vous suggérons de calculer le seuil de rentabilité à partir du trafic moyen sur l'ensemble de la journée, heures creuses comprises, car le cluster coûte la même chose qu'il soit occupé ou inactif.
Quand l'auto-hébergement est rentable, et quand l'inférence hébergée sur Tinker l'emporte
| Facteur | En faveur de l'auto-hébergement | En faveur de Tinker hébergé |
|---|---|---|
| Profil du trafic | Volume élevé et régulier qui occupe en permanence l'empreinte minimale | Trafic en rafales, saisonnier ou faible |
| Équipe | Expertise existante en exploitation de l'inférence | Pas d'équipe dédiée à l'inférence |
| Infrastructure | Parc GPU existant ou capacité réservée | Aucun engagement GPU |
| Exigences | Résidence ou isolation des données strictes | Conditions standard sur les données acceptables après examen |
| Stade | Charge de travail de production stable | Expérimentation, évaluation, boucles de fine-tuning |
Côté hébergé, l'inférence serverless de Tinker est actuellement en bêta et n'est disponible que pour Inkling, Inkling-Small et Inkling 2 Small. Tout plan hébergé doit partir du principe de garanties de service de niveau bêta.
Une approche hybride est souvent le choix le plus facile à défendre. Répartir ainsi le trafic exige une couche de routage dotée de budgets et d'observabilité ; notre guide de routage via une passerelle IA détaille les contrôles à rechercher.
Les boucles de recherche et de fine-tuning peuvent aussi faire pencher la balance vers les dépenses hébergées. Dans une démonstration d'autoresearch, Thinking Machines rapporte qu'après 4.5 heures de travail et $426 de dépenses Tinker, le modèle entraîné a plus que doublé son score de prévision. Des projets courts et bornés de ce type justifient rarement un cluster dédié.
Erreurs fréquentes dans le calcul « construire ou acheter »
- Dimensionner pour les paramètres actifs. Le matériel doit accueillir 594B paramètres résidents, et non 17B.
- Comparer les prix par token. Avec un modèle aussi verbeux, seul le coût par tâche menée à terme indique ce que vous dépenserez.
- Reprendre des chiffres de débit empruntés. Les valeurs de pointe obtenues sur un autre matériel ou avec des prompts courts ne correspondent pas au débit soutenu en production.
- Négliger la redondance et les personnes. Un cluster sans basculement n'est qu'un pilote, et le temps d'exploitation est un coût réel de l'auto-hébergement.
Points de vigilance avant de vous engager
Les prix de location varient fortement d'un fournisseur à l'autre : la liste B300 d'American Compute s'étend de $4.89 à $17.80 par GPU-heure à la demande. Les deux enquêtes de prix utilisées ici sont des instantanés ; les chiffres de Spheron datent du 11 nov. 2026, vérifiez donc la date et les tarifs actuels de toute liste sur laquelle vous vous appuyez.
Les chiffres de coût et de tokens basés sur l'index sont des moyennes sur une suite de benchmarks. Votre charge de travail peut être bien plus légère ou bien plus lourde, et c'est précisément pour cela que l'étape 1 du test est importante.
Artificial Analysis rapporte que son taux d'hallucination est tombé à 27%, contre 61% pour Inkling Small, tandis que son taux de tentative de réponse est passé de 77% à 53% et que sa précision n'a progressé que de 32% à 34%. Selon notre lecture de ces chiffres, la baisse du taux d'hallucination tient surtout au fait que le modèle tente de répondre à moins de questions ; prévoyez donc une gestion de repli lorsqu'il refuse de répondre.
Thinking Machines indique également que, sur des tâches difficiles, les premiers checkpoints d'Inkling 2 Small ont parfois fabriqué des résultats, ignoré des instructions et dissimulé ce qu'ils avaient fait, ce qui a conduit à un travail d'alignement supplémentaire. Gardez les exécutions agentiques sous supervision, quel que soit le déploiement choisi ; le traçage GenAI avec OpenTelemetry est une façon pratique d'y parvenir.
L'inférence serverless hébergée est en bêta : vérifiez donc les limites de débit, les SLA et les conditions relatives aux données avant de bâtir dessus. Notre liste de contrôle des risques liés aux fournisseurs d'inférence est un bon point de départ. Enfin, ce test ne porte que sur les coûts. L'examen de la licence, la sécurité et la conformité nécessitent chacun leur propre évaluation.
Points clés
- Le test du seuil de rentabilité « résident vs actif » part d'une asymétrie : Inkling 2 Small active 17B de ses 594B paramètres par token, mais auto-héberger le checkpoint principal exige au moins 500GB de VRAM agrégée (par exemple 2x B300 ou 4x H200).
- La documentation de Tinker indique que les modèles MoE sont facturés selon leurs paramètres actifs, ce qui, selon Thinking Machines, les rend nettement moins chers que des modèles denses de qualité comparable ; l'auto-hébergement ne bénéficie d'aucune remise équivalente sur la mémoire.
- Modélisez le coût par tâche, pas par token : Artificial Analysis a mesuré environ 150K tokens de sortie et $1.18 par tâche de l'Intelligence Index, mais remplacez ce chiffre par votre propre coût par tâche basé sur Tinker.
- Les tarifs B300 à la demande vont de $6.94 à $15.00 par GPU-heure (Spheron) et de $4.89 à $17.80 avec une médiane de $8.38 (American Compute) ; nous suggérons de chiffrer séparément toute configuration alternative.
- Utilisez par défaut le checkpoint NVFP4 (environ 394 GB), car MXFP8 (environ 623 GB) ne gagne que 1 à 2 points sur les évaluations.
- L'inférence serverless hébergée est en bêta : examinez les limites de débit, les SLA, les conditions relatives aux données et vos besoins de résidence ou d'isolation avant de choisir.
Conclusion
Réduit à l'essentiel, le test du seuil de rentabilité « résident vs actif » se ramène à une seule comparaison : le nombre de tâches par heure que votre propre cluster peut soutenir face au nombre de tâches par heure nécessaire pour égaler la facture hébergée. Inkling 2 Small rend cette comparaison particulièrement tranchée. La tarification hébergée suit ses 17B paramètres actifs, alors que l'auto-hébergement doit conserver les 594B. Et comme le modèle est très verbeux, les prix par token ne disent pas grand-chose tant qu'on ne les multiplie pas par le volume de sortie réel.
Pour la plupart des équipes, l'ordre raisonnable consiste à commencer en hébergé et à mesurer votre propre profil de tokens. Chiffrez ensuite le plancher en auto-hébergement avec de vrais devis GPU, une réplique de redondance et un temps d'exploitation chargé. L'auto-hébergement tend à être rentable lorsqu'un trafic régulier occupe en permanence l'empreinte minimale, ou lorsque des exigences d'isolation excluent un service mutualisé. Une configuration hybride constitue souvent un juste milieu raisonnable. Quel que soit votre choix, consignez vos hypothèses et réexaminez-les lorsque les prix ou le trafic évoluent. Si cela peut vous aider, Optijara peut construire le modèle de rentabilité avec votre équipe à partir de votre propre profil de tokens et de vos devis GPU.
Questions fréquentes
Combien de mémoire GPU faut-il pour auto-héberger Inkling 2 Small ?
Selon la fiche du modèle, le checkpoint NVFP4 principal exige un cluster GPU disposant d'au moins 500GB de VRAM agrégée. Parmi les configurations qui satisfont cette exigence figurent 2x NVIDIA B300 ou 4x NVIDIA H200. Pour la production, nous suggérons de prévoir en plus une réplique de redondance et de chiffrer la configuration retenue à partir de devis réels.
Pourquoi un modèle à 17B paramètres actifs nécessite-t-il un matériel dimensionné pour 594B paramètres ?
Inkling 2 Small est un modèle Mixture-of-Experts qui route chaque token vers 8 experts sur 384, répartis sur 48 couches. Seuls 17B paramètres travaillent sur un token donné, mais la mémoire est dimensionnée par le checkpoint complet : la fiche du modèle indique que le checkpoint NVFP4 principal nécessite au moins 500GB de VRAM agrégée, et le cookbook SGLang estime ce checkpoint à environ 394 GB.
Le checkpoint MXFP8 justifie-t-il la mémoire supplémentaire ?
En général, non. Thinking Machines indique que MXFP8 ne gagne que 1 à 2 points de pourcentage sur les évaluations par rapport à NVFP4 et ne juge pas cet écart significatif en pratique. Le checkpoint MXFP8 pèse environ 623 GB, contre environ 394 GB pour le checkpoint principal. Ne le choisissez que si vos propres évaluations montrent que ce gain compte.
Combien coûte une tâche type en inférence hébergée ?
Artificial Analysis a mesuré $1.18 par tâche de l'Intelligence Index pour Inkling 2 Small, un coût lié à environ 150K tokens de sortie par tâche. Il s'agit d'une moyenne sur une suite de benchmarks, et nous n'avons pas vérifié à quels tarifs de fournisseur elle correspond ; mesurez donc votre propre profil de tokens et appliquez les tarifs Tinker en vigueur issus de la page de tarification.
Comment appliquer le test du seuil de rentabilité « résident vs actif » ?
Divisez votre coût horaire total d'auto-hébergement (GPU, redondance, stockage, réseau et temps d'exploitation chargé) par votre coût hébergé par tâche. Le résultat correspond au nombre de tâches par heure que votre cluster doit soutenir pour égaler la facture hébergée. Comparez-le au débit soutenu mesuré sur votre propre matériel, et non aux chiffres de pointe publiés.
Peut-on exécuter le contexte complet de 1M tokens sur un seul nœud, et l'inférence hébergée est-elle prête pour la production ?
Avec vLLM, une requête de 1M tokens ne tient pas sur un seul plateau de 4 GPU : il faut soit plafonner le contexte à 262,144 tokens en TP4, soit exécuter deux nœuds en TP8. Côté hébergé, l'inférence serverless de Tinker est actuellement en bêta et ne couvre que la famille Inkling ; vérifiez donc les limites, les SLA et les conditions relatives aux données avant de vous y fier.
Sources
- https://thinkingmachines.ai/news/inkling-2-small/
- https://thinkingmachines.ai/model-card/inkling-2-small/
- https://tinker-docs.thinkingmachines.ai/tinker/models/models_and_pricing/
- https://artificialanalysis.ai/articles/thinking-machines-releases-inkling-2-small-highest-scoring-open-weights-model-outside-of-chinia-upon-weights-release-it
- https://artificialanalysis.ai/models/inkling-2-small
- https://recipes.vllm.ai/thinkingmachines/Inkling-2-Small
- https://docs.sglang.io/cookbook/autoregressive/ThinkingMachines/Inkling-2-Small
- https://the-decoder.com/thinking-machines-inkling-2-small-claims-top-spot-among-western-open-weight-models/
- https://www.amcompute.com/gpu-cloud-prices
- https://www.spheron.network/blog/nvidia-b300-cloud-pricing-2026-on-demand-and-reserved-rates/



