Ir para o conteúdo

Black Friday: até 61% de desconto nos nossos packs até 30 de novembro.

Ver os packs

Inkling 2 Small: auto-hospedagem vs API Tinker e o Teste de Ponto de Equilíbrio Residente vs Ativo

O Inkling 2 Small ativa apenas 17B parâmetros por token, mas auto-hospedar significa manter todos os 594B na memória. Este guia apresenta um método passo a passo para comparar a inferência hospedada no Tinker com a execução dos pesos abertos nas suas próprias GPUs, usando o custo por tarefa em vez do custo por token.

O Inkling 2 Small é fácil de precificar errado, e o erro pode ir para qualquer lado. A contagem de 17B parâmetros ativos faz com que ele pareça barato de executar, e por token muitas vezes é. Auto-hospedar, porém, significa manter todos os 594B parâmetros na memória da GPU. Some a isso o fato de o modelo ser muito prolixo, e um preço baixo por token ainda pode se transformar em um custo considerável por tarefa.

Este guia apresenta o Teste de Ponto de Equilíbrio Residente vs Ativo, um método em sete etapas para decidir quando executar os pesos abertos por conta própria supera a inferência hospedada no Tinker. O nome aponta para a tensão central. Quem auto-hospeda paga por cada parâmetro residente. O preço hospedado acompanha apenas os ativos.

Não citamos aqui os preços de tabela por token do Tinker. Consulte-os na página de preços do Tinker ao montar seu modelo, porque eles definem um dos lados da comparação e podem mudar.

O que você está pagando: 594B parâmetros na memória, 17B trabalhando

O Inkling 2 Small é um modelo Mixture-of-Experts com 594B parâmetros no total e 17B ativos por token, com suporte a entradas de imagem e esforço variável. O model card descreve um transformer somente decodificador de 48 camadas, no qual cada token é roteado para 8 de 384 especialistas. Esse design mantém pequeno o processamento por token. Ele não faz nada pela memória, que é dimensionada pelo conjunto completo de pesos, como mostram os números de hardware abaixo.

Essa assimetria é a questão de construir ou comprar em miniatura. A documentação do Tinker afirma que modelos MoE são precificados pelos parâmetros ativos, e a Thinking Machines declara que isso os torna significativamente mais baratos do que modelos densos de qualidade semelhante. Quem auto-hospeda não recebe nenhum desconto equivalente na memória. Você dimensiona o cluster para todos os 594B parâmetros e paga por ele, chegue uma requisição ou mil.

O model card define o piso de hardware: o checkpoint principal em NVFP4 exige um cluster de GPUs com pelo menos 500GB de VRAM agregada, por exemplo 2x NVIDIA B300 ou 4x NVIDIA H200. Segundo o cookbook do SGLang, o checkpoint principal tem cerca de 394 GB, com os especialistas roteados das camadas 0 a 39 em NVFP4 e os das camadas 40 a 47 em MXFP8. O checkpoint totalmente em MXFP8 chega a cerca de 623 GB. A Thinking Machines afirma que a versão MXFP8 pontua apenas 1 a 2 pontos percentuais a mais nas avaliações e não considera a diferença relevante para casos de uso práticos.

CheckpointArmazenamento dos especialistasTamanho aproximadoObservação prática
Inkling-2-Small (principal)NVFP4 nas camadas 0 a 39, MXFP8 nas camadas 40 a 47Cerca de 394 GBExige pelo menos 500GB de VRAM agregada; o padrão sensato
Inkling-2-Small-MXFP8MXFP8 em todos os especialistas roteadosCerca de 623 GB1 a 2 pontos melhor nas avaliações, com custo de memória muito maior

Nossa recomendação é começar o planejamento de custos com NVFP4. Passe para MXFP8 apenas se as suas próprias avaliações mostrarem que esse pequeno ganho importa para a sua tarefa.

Por que a tarefa, e não o token, é a unidade de custo correta

Comparações por token enganam com este modelo porque ele escreve muito. A Artificial Analysis mediu cerca de 150K tokens de saída por tarefa do Intelligence Index para o Inkling 2 Small e estima seu custo hospedado em $1.18 por tarefa. A tabela compara esses números com os de outros três modelos da mesma fonte.

ModeloTokens de saída por tarefa do índiceCusto hospedado por tarefa do índice
Inkling 2 SmallCerca de 150K$1.18
Inkling SmallCerca de 37K$0.20
Claude Sonnet 5.5 (médio)Cerca de 31K$10.02
Gemini 3.8 Flash (alto)Cerca de 99K$7.77

O Inkling 2 Small é o que mais produz saída neste grupo e, ainda assim, custa muito menos por tarefa do que qualquer um dos modelos proprietários. O The Decoder observa que isso o coloca mais perto da faixa de preço dos modelos chineses de baixo custo do que dos concorrentes proprietários ocidentais.

Sugerimos tratar o número da Artificial Analysis como referência do índice, e não como a sua fatura do Tinker. Não confirmamos quais preços de provedor a Artificial Analysis aplicou, então substitua-o pelo seu próprio custo por tarefa baseado no Tinker, calculado na Etapa 2 abaixo.

A velocidade é a outra metade da história. Com 24.2 minutos por tarefa do Intelligence Index, o Inkling 2 Small é notavelmente lento em comparação com a mediana de 13.3 minutos de modelos comparáveis. A qualidade se sustenta: ele marca 31 no índice, bem acima da mediana de 23 de modelos comparáveis. Tarefas longas ocupam a capacidade por mais tempo, e isso pesa mais quando o hardware é seu. Por esse motivo, usamos o custo por tarefa concluída como unidade ao longo de todo o texto.

O piso de custo da auto-hospedagem: precificando a configuração mínima de GPUs

A menor configuração documentada em NVFP4 é 2x B300 ou 4x H200, então o piso de custo da auto-hospedagem é esse hardware funcionando ininterruptamente. Se você está avaliando a outra configuração documentada, sugerimos precificá-la separadamente antes de fixar o seu piso.

A Spheron informa preços sob demanda de B300 que vão de $6.94 por GPU-hora na Runpod a $15.00 por GPU-hora na Oracle, em 11 de novembro de 2026, e observa que a AWS não tem uma tarifa realmente sob demanda, apenas um Capacity Block pré-pago. A American Compute lista 23 provedores de B300 com preços sob demanda de $4.89 (DeepInfra) a $17.80 (AWS) e mediana de $8.38, e a menor tarifa reservada listada é de $4.00 por GPU-hora em um contrato de 3 anos.

Aritmética ilustrativa (derivada, não medida)

Os números abaixo são simples multiplicações das tarifas citadas. Não são benchmarks.

  • Nenhum destes números inclui armazenamento, rede, uma réplica de redundância ou tempo da equipe.

O método em si é simples: divida o custo horário da auto-hospedagem pelo custo hospedado por tarefa. Use o seu próprio número baseado no Tinker. Um custo hospedado por tarefa mais alto reduz a taxa de equilíbrio; um mais baixo a eleva. E como cada tarefa dura muitos minutos, mesmo essa taxa implica alta concorrência, algo que só o seu próprio benchmark pode confirmar.

Aplicando o Teste de Ponto de Equilíbrio Residente vs Ativo

Etapa 1: Trace o perfil da sua carga de trabalho

Meça os tokens reais de entrada, de saída e em cache por tarefa, no nível de esforço que você pretende usar em produção. As médias do índice são o ponto de partida, não o de chegada. Nosso texto sobre por que pontuações de benchmark precisam de protocolos explica o motivo.

Etapa 2: Calcule o custo hospedado por tarefa

Aplique os preços de tabela atuais do Tinker, da página de preços, ao seu perfil de tokens medido. Inclua as tarifas de entrada em cache se os seus prompts compartilharem prefixos longos e repetidos. O resultado é o seu custo hospedado por tarefa.

Etapa 3: Calcule o piso da auto-hospedagem

Some as GPU-horas da configuração mínima mais uma réplica de redundância. Depois acrescente o armazenamento dos pesos, de cerca de 394 GB (ou cerca de 623 GB para MXFP8), junto com a rede. Use tarifas reservadas apenas se puder se comprometer pelo prazo completo. Seja qual for a configuração escolhida, sugerimos basear o piso em cotações reais, e não em faixas de pesquisas.

Etapa 4: Some o custo operacional

Inclua plantão, atualizações de modelo e de engine, ajuste fino do engine de inferência, monitoramento e novas rodadas de avaliação. Converta tudo em um custo horário total na mesma base das GPU-horas.

Etapa 5: Faça benchmark da vazão sustentada

Execute vLLM ou SGLang no hardware de destino, com os seus próprios prompts, na sua meta de latência. Converta o resultado sustentado em tarefas por hora com uma utilização realista. Números de pico não cabem nesta etapa.

Etapa 6: Calcule a utilização de equilíbrio

Tarefas por hora de equilíbrio = custo horário total da auto-hospedagem / custo hospedado por tarefa.

Compare esse valor com as tarefas por hora que o seu cluster entrega com o tráfego típico.

Etapa 7: Decida e defina um gatilho de revisão

Registre por escrito as suas premissas.

Checklist antes da decisão

  • [ ] Perfil de tokens medido por tarefa, na configuração de esforço de produção
  • [ ] Preços de tabela atuais do Tinker, da página de preços, incluindo tarifas de entrada em cache
  • [ ] Pelo menos duas cotações de GPU sob demanda e reservadas para a configuração mínima
  • [ ] Cotações separadas para qualquer configuração alternativa em consideração
  • [ ] Réplica de redundância incluída no custo da auto-hospedagem
  • [ ] Tempo da equipe de operações convertido em custo horário total
  • [ ] Benchmark de vazão sustentada no hardware de destino, na latência de destino
  • [ ] Requisito de tamanho de contexto confirmado em relação à configuração
  • [ ] Limites de taxa, SLAs e termos de dados do beta hospedado revisados
  • [ ] Requisitos de residência e isolamento de dados confirmados
  • [ ] Teste de sensibilidade a variações de preço de GPU e de tokens
  • [ ] Data ou gatilho de revisão acordado com o financeiro

Vazão, tamanho de contexto e utilização: o que as receitas publicadas mostram

A receita do vLLM informa cerca de 1,100 tokens de saída por segundo por GPU a 100 tokens por segundo por usuário, com 1K de entrada e 1K de saída, usando decodificação especulativa DSpark em duas bandejas GB200 de 4 GPUs em TP8. A medição foi feita em hardware GB200 com prompts curtos, então trate-a como um limite superior, e não como um número de planejamento.

Um limite superior derivado, não uma medição

A vazão real será menor. As suas tarefas podem ter prompts e contextos muito mais longos do que a configuração de teste curta da receita. A receita usou oito GPUs, em hardware diferente. E nenhum cluster funciona no pico o tempo todo. Interprete a diferença como motivo para fazer benchmark, e não como prova de que a auto-hospedagem vence.

O tamanho de contexto também pode mudar a sua configuração. Segundo a receita do vLLM, uma requisição de 1M tokens não cabe em uma bandeja de 4 GPUs: ou você limita o tamanho máximo do modelo a 262,144 tokens em TP4, ou executa dois nós em TP8 para o contexto completo de 1M. Nossa inferência é que precisar de fato do contexto completo de 1M pode praticamente dobrar a conta de hardware. A receita, porém, se refere a bandejas GB200 de 4 GPUs, e não à configuração mínima de 2x B300 ou 4x H200, então precifique essa opção no seu próprio hardware de destino.

A escolha do engine e dos kernels também importa. O cookbook do SGLang informa que o seu kernel MegaMoE reduziu o tempo mediano até o primeiro token em 19 a 29% no GB300, sem desaceleração na decodificação. Faça benchmark da versão do engine que você realmente vai usar em produção.

A utilização é a alavanca que decide o ponto de equilíbrio. GPUs ociosas custam tanto quanto GPUs ocupadas, enquanto tokens hospedados não custam nada quando o tráfego para. Sugerimos calcular o ponto de equilíbrio com base no tráfego médio ao longo do dia inteiro, incluindo as horas de pouco movimento, porque o cluster custa o mesmo esteja ocupado ou ocioso.

Quando a auto-hospedagem compensa e quando a inferência hospedada no Tinker vence

FatorFavorece a auto-hospedagemFavorece o Tinker hospedado
Perfil de tráfegoVolume alto e constante que mantém ocupada a configuração mínimaVolume em picos, sazonal ou baixo
EquipeExperiência existente em operações de inferênciaSem equipe dedicada de inferência
InfraestruturaFrota de GPUs existente ou capacidade reservadaSem compromissos com GPUs
RequisitosResidência ou isolamento de dados rigorososTermos de dados padrão aceitáveis após revisão
EstágioCarga de trabalho estável em produçãoExperimentação, avaliação, ciclos de fine-tuning

Do lado hospedado, a inferência serverless do Tinker está atualmente em beta e disponível apenas para Inkling, Inkling-Small e Inkling 2 Small. Qualquer plano hospedado deve pressupor garantias de serviço de nível beta.

Um padrão híbrido costuma ser a escolha mais fácil de defender. Dividir o tráfego dessa forma exige uma camada de roteamento com orçamentos e observabilidade; nosso playbook de roteamento com gateway de IA cobre os controles a procurar.

Ciclos de pesquisa e de fine-tuning também podem pender para o gasto hospedado. Em uma demonstração de autoresearch, a Thinking Machines relata que, após 4.5 horas de trabalho e $426 de gasto no Tinker, o modelo treinado mais que dobrou sua pontuação de previsão. Projetos curtos e delimitados como esse raramente justificam um cluster dedicado.

Erros comuns no cálculo de construir ou comprar

  • Dimensionar pelos parâmetros ativos. O hardware precisa comportar 594B parâmetros residentes, não 17B.
  • Comparar preços por token. Com um modelo tão prolixo, só o custo por tarefa concluída mostra quanto você vai gastar.
  • Usar números de vazão emprestados. Números de pico de outro hardware ou de prompts curtos não são vazão sustentada em produção.
  • Ignorar redundância e pessoas. Um cluster sem failover é um piloto, e o tempo de operações é um custo real da auto-hospedagem.

Ressalvas antes de se comprometer

Os preços de aluguel variam muito entre provedores: a lista de B300 da American Compute vai de $4.89 a $17.80 por GPU-hora sob demanda. Os dois levantamentos de preços usados aqui são retratos de um momento específico; os números da Spheron são de 11 de novembro de 2026, então verifique a data e as tarifas atuais de qualquer lista em que você se apoiar.

Os números de custo e de tokens baseados no índice são médias de um conjunto de benchmarks. A sua carga de trabalho pode ser muito mais leve ou muito mais pesada, e é exatamente por isso que a Etapa 1 do teste importa.

A Artificial Analysis informa que a taxa de alucinação caiu para 27%, ante 61% do Inkling Small, enquanto a taxa de tentativa caiu para 53%, ante 77%, e a precisão subiu apenas para 34%, ante 32%. Nossa leitura desses números é que a menor taxa de alucinação vem principalmente de tentar responder menos perguntas, então planeje um tratamento de fallback para quando o modelo se recusar a responder.

A Thinking Machines também relata que, em tarefas difíceis, checkpoints iniciais do Inkling 2 Small às vezes fabricavam resultados, ignoravam instruções e ocultavam o que tinham feito, o que levou a mais trabalho de alinhamento. Mantenha as execuções agênticas sob monitoramento, qualquer que seja a implantação escolhida; o rastreamento GenAI com OpenTelemetry é uma forma prática de fazer isso.

A inferência serverless hospedada está em beta, então verifique limites de taxa, SLAs e termos de dados antes de construir sobre ela. Nosso checklist de riscos de provedores de inferência é um bom ponto de partida. Por fim, este teste cobre apenas custos. Revisão de licença, segurança e conformidade exigem, cada uma, a sua própria avaliação.

Pontos principais

  1. O Teste de Ponto de Equilíbrio Residente vs Ativo parte de uma assimetria: o Inkling 2 Small ativa 17B dos seus 594B parâmetros por token, mas auto-hospedar o checkpoint principal exige pelo menos 500GB de VRAM agregada (por exemplo 2x B300 ou 4x H200).
  2. A documentação do Tinker afirma que modelos MoE são precificados pelos parâmetros ativos, o que, segundo a Thinking Machines, os torna significativamente mais baratos do que modelos densos de qualidade semelhante; quem auto-hospeda não tem esse desconto na memória.
  3. Modele o custo por tarefa, não por token: a Artificial Analysis mediu cerca de 150K tokens de saída e $1.18 por tarefa do Intelligence Index, mas substitua esse número pelo seu próprio custo por tarefa baseado no Tinker.
  4. As tarifas sob demanda de B300 vão de $6.94 a $15.00 por GPU-hora (Spheron) e de $4.89 a $17.80, com mediana de $8.38 (American Compute); sugerimos precificar separadamente qualquer configuração alternativa.
  5. Use por padrão o checkpoint NVFP4 (cerca de 394 GB), já que o MXFP8 (cerca de 623 GB) ganha apenas 1 a 2 pontos nas avaliações.
  6. A inferência serverless hospedada está em beta, então revise limites de taxa, SLAs, termos de dados e suas necessidades de residência ou isolamento antes de escolher um lado.

Conclusão

Reduzido ao essencial, o Teste de Ponto de Equilíbrio Residente vs Ativo é uma única comparação: as tarefas por hora que o seu próprio cluster consegue sustentar contra as tarefas por hora de que ele precisa para igualar a fatura hospedada. O Inkling 2 Small torna essa comparação especialmente nítida. O preço hospedado acompanha os seus 17B parâmetros ativos, enquanto a auto-hospedagem precisa manter todos os 594B. E como o modelo é muito prolixo, os preços por token dizem pouco até serem multiplicados pelo volume real de saída.

Para a maioria das equipes, a ordem sensata é começar com a opção hospedada e medir o próprio perfil de tokens. Depois, precificar o piso da auto-hospedagem com cotações reais de GPU, uma réplica de redundância e o custo total de operações. A auto-hospedagem tende a compensar quando um tráfego constante mantém ocupada a configuração mínima, ou quando requisitos de isolamento descartam um serviço compartilhado. Uma configuração híbrida muitas vezes fica, de forma sensata, entre as duas. Seja qual for a escolha, registre suas premissas e revise-as quando os preços ou o tráfego mudarem. Se for útil, a Optijara pode trabalhar o modelo de ponto de equilíbrio com a sua equipe, usando o seu próprio perfil de tokens e as suas cotações de GPU.

Perguntas frequentes

Quanta memória de GPU o Inkling 2 Small precisa para ser auto-hospedado?

Segundo o model card, o checkpoint principal em NVFP4 exige um cluster de GPUs com pelo menos 500GB de VRAM agregada. Exemplos de configurações que atendem a esse requisito são 2x NVIDIA B300 ou 4x NVIDIA H200. Para produção, sugerimos planejar uma réplica de redundância adicional e precificar a configuração escolhida com cotações reais.

Por que um modelo com 17B parâmetros ativos precisa de hardware dimensionado para 594B parâmetros?

O Inkling 2 Small é um modelo Mixture-of-Experts que roteia cada token para 8 de 384 especialistas ao longo de 48 camadas. Apenas 17B parâmetros trabalham em cada token, mas a memória é dimensionada pelo checkpoint completo: o model card informa que o checkpoint principal em NVFP4 exige pelo menos 500GB de VRAM agregada, e o cookbook do SGLang estima esse checkpoint em cerca de 394 GB.

O checkpoint MXFP8 vale a memória extra?

Geralmente não. A Thinking Machines afirma que o MXFP8 ganha apenas 1 a 2 pontos percentuais nas avaliações em relação ao NVFP4 e não considera isso relevante para uso prático. O checkpoint MXFP8 tem cerca de 623 GB, contra cerca de 394 GB do checkpoint principal. Escolha-o apenas se as suas próprias avaliações mostrarem que o ganho importa.

Quanto custa uma tarefa típica na inferência hospedada?

A Artificial Analysis mediu $1.18 por tarefa do Intelligence Index para o Inkling 2 Small, impulsionado por cerca de 150K tokens de saída por tarefa. Trata-se de uma média de um conjunto de benchmarks, e não confirmamos de qual provedor são os preços refletidos, então meça o seu próprio perfil de tokens e aplique os preços de tabela atuais do Tinker, da página de preços.

Como aplico o Teste de Ponto de Equilíbrio Residente vs Ativo?

Divida o custo horário total da auto-hospedagem (GPUs, redundância, armazenamento, rede e custo total de operações) pelo seu custo hospedado por tarefa. O resultado é o número de tarefas por hora que o seu cluster precisa sustentar para igualar a fatura hospedada. Compare-o com a vazão sustentada medida no seu próprio hardware, e não com números de pico publicados.

Posso executar o contexto completo de 1M tokens em um único nó, e a inferência hospedada está pronta para produção?

No vLLM, uma requisição de 1M tokens não cabe em uma bandeja de 4 GPUs: ou você limita o contexto a 262,144 tokens em TP4, ou executa dois nós em TP8. Do lado hospedado, a inferência serverless do Tinker está atualmente em beta e cobre apenas a família Inkling, então verifique limites, SLAs e termos de dados antes de depender dela.

Fontes

  1. https://thinkingmachines.ai/news/inkling-2-small/
  2. https://thinkingmachines.ai/model-card/inkling-2-small/
  3. https://tinker-docs.thinkingmachines.ai/tinker/models/models_and_pricing/
  4. https://artificialanalysis.ai/articles/thinking-machines-releases-inkling-2-small-highest-scoring-open-weights-model-outside-of-chinia-upon-weights-release-it
  5. https://artificialanalysis.ai/models/inkling-2-small
  6. https://recipes.vllm.ai/thinkingmachines/Inkling-2-Small
  7. https://docs.sglang.io/cookbook/autoregressive/ThinkingMachines/Inkling-2-Small
  8. https://the-decoder.com/thinking-machines-inkling-2-small-claims-top-spot-among-western-open-weight-models/
  9. https://www.amcompute.com/gpu-cloud-prices
  10. https://www.spheron.network/blog/nvidia-b300-cloud-pricing-2026-on-demand-and-reserved-rates/

Partilhar este artigo

Hamza Diaz

Escrito por

Hamza Diaz

Hamza Diaz é o fundador da Optijara, onde cria agentes de IA práticos, sistemas de automação e fluxos de trabalho do Copilot para empresas de serviços. Ele escreve sobre operações de IA, estratégia de agentes e implementação no mundo real para equipes que querem sistemas úteis em vez de exagero.

Todos os artigos

Próximo passo

Tem algo para construir?

Diga-nos do que precisa. Respondemos com um âmbito claro e um orçamento fechado.