
Inkling 2 Small: auto-hospedagem vs API Tinker e o Teste de Ponto de Equilíbrio Residente vs Ativo
O Inkling 2 Small ativa apenas 17B parâmetros por token, mas auto-hospedar significa manter todos os 594B na memória. Este guia apresenta um método passo a passo para comparar a inferência hospedada no Tinker com a execução dos pesos abertos nas suas próprias GPUs, usando o custo por tarefa em vez do custo por token.







