RynnBrain 1.1: O teste de aceitação de manipulação de robô baseado em 3D para operadores

Um robô pode identificar o objeto certo e ainda assim estragar o trabalho. A caneca está visível. O modelo aponta para isso. Em seguida, a pinça se aproxima do quadro de coordenadas errado, pega a parede curva em vez da região da alça, prende o item próximo a ela e transforma uma vitória de percepção em uma falha de manipulação. Essa lacuna, entre ver e agir com segurança, é onde um teste de aceitação do RynnBrain 1.1 deve residir.

Alibaba DAMO Academy apresenta RynnBrain 1.1 como uma família de modelos de base incorporada aberta nas escalas 2B, 9B e 122B-A10B. A página e o artigo do projeto descrevem o aterramento 3D nativo para modelos compactos, previsão de ponto de contato com orientação de compreensão no plano e RynnBrain-VLA com um espaço de ação unificado de incorporação cruzada mais mascaramento específico de incorporação. Os mesmos materiais também relatam avaliações de robôs reais nos sistemas Unitree G1, Astribot-S1 e Tianji-Wuji. Trate esses resultados de benchmark e de robôs reais como afirmações relatadas pelo autor até que sua equipe os reproduza.

Para as operadoras, o lançamento é interessante. Essa não é a pergunta difícil. A questão difícil é se isso transmite artefatos, robôs, cenas, processos de segurança, orçamento de latência e caminho de recuperação. Se sua equipe estiver comparando pilhas de robótica aberta relacionadas, combine este artigo com o [planejamento de infraestrutura de robótica de borda] da Optijara (/en/blog/nvidia-jetson-t3000-t2000-edge-ai-right-sizing-test-2026), aceitação de recuperação de modelo aberto testes e avaliação de serviço de produção.

Por que RynnBrain 1.1 precisa de um teste de aceitação

RynnBrain 1.1 não é um cartão modelo para tomar café. Suas reivindicações situam-se na fronteira entre percepção, raciocínio espacial, controle de robôs e contato físico. A página oficial afirma que RynnBrain 1.1 introduz previsão de ponto de contato para locais de interação relevantes para tarefas e orientações de compreensão no plano, enquanto os modelos 2B e 9B recebem supervisão 3D explícita para aterramento condicionado por linguagem no espaço físico métrico. O artigo arXiv deve ser tratado como a referência técnica primária, com GitHub, Hugging Face e ModelScope usados ​​para confirmar artefatos executáveis.

Aqui está a versão direta: uma tabela de benchmark não é um limite de controle. Ele informa por onde começar os testes. Não diz o que automatizar.

Mantenha as reivindicações separadas. Tabelas de benchmark, comparações de escala e declarações de superioridade de robôs reais são relatadas pelo autor até que sua equipe as reproduza sob código fixado, pontos de verificação fixados, hardware documentado e sua distribuição de cena alvo. Isso não torna as reivindicações fracas. Isso os torna testáveis. A adoção da robótica dá errado quando as equipes confundem um resultado no papel com uma decisão de produção.

O teste de aceitação de manipulação 3D Optijara foi desenvolvido para esse problema. Ele separa a percepção 2D do aterramento métrico 3D, o aterramento métrico do contato utilizável, o contato da execução específica do robô e a execução da implantação segura. A regra é simples: se uma versão não puder passar por uma versão restrita do fluxo de trabalho real, ela deverá permanecer em avaliação.

O que verificar primeiro: artefatos, licenças e ajuste do modeloAntes de qualquer teste de robô, crie um registro de adoção. Capture o URL oficial do projeto, papel arXiv, repositório GitHub, coleção Hugging Face, coleção ModelScope, nomes de pontos de verificação, cartões de modelo, texto de licença, versões de dependência, comandos de inferência de amostra e quaisquer declarações de segurança ou limitação. O repositório GitHub anuncia uma licença Apache-2.0 no instantâneo do repositório ativo verificado durante a verificação de fatos, mas os operadores ainda devem confirmar se cada artefato de modelo, dependência de conjunto de dados e integração downstream tem termos de redistribuição e uso comercial correspondentes.

Não baixe um ponto de verificação e chame o artefato de verificado. Salve identificadores de commit, libere carimbos de data/hora quando disponíveis, arquivos hash se publicados, seus próprios hashes de arquivos baixados, arquivos de bloqueio de ambiente, versões de driver de GPU, scripts de inferência e linhas de comando de avaliação. Seis meses depois, essa trilha de evidências é o que informa se um benchmark mudou devido ao modelo, ao hardware, ao pré-processamento ou à sua configuração.

Matriz de decisão 2B vs 9B vs 122B-A10B

Para plataformas robóticas, avalie a plataforma antes de avaliar o modelo. Unitree G1, Astribot-S1 e Tianji-Wuji são nomeados no artigo RynnBrain e nos materiais do projeto. Eles representam diferentes suposições de incorporação: mobilidade e manipulação humanóide, manipulação bimanual e controle manual hábil. Documente o conjunto de sensores, a geometria do efetor final, a taxonomia de compreensão, a API de controle, o procedimento de calibração, os limites do espaço de trabalho, o modelo de colisão, o mecanismo de parada de segurança e os dados de demonstração disponíveis para cada plataforma.

O teste de aceitação de manipulação 3D Optijara

A estrutura possui sete portas. A integridade do artefato vem em primeiro lugar, seguida pela reprodução offline, aterramento métrico 3D, viabilidade de contato, mapeamento de incorporação, revisão do envelope de segurança e implantação supervisionada limitada. Um modelo é aprovado apenas quando cada porta tem evidências. As impressões não contam.

Estágio 1: localização 2D versus aterramento métrico 3D

O apontamento 2D pergunta se o modelo pode indicar um alvo no espaço da imagem. A manipulação pergunta se o robô pode chegar ao lugar certo no mundo real. Seu teste deve comparar caixas ou pontos delimitadores com alvos métricos 3D, consistência de profundidade, orientação de objeto, superfícies alcançáveis ​​e transformações entre câmera, mundo, base do robô e quadros de ferramentas.Comece com um cenário fixo. Inclua objetos conhecidos, objetos novos, superfícies desordenadas, alvos ocluídos e objetos transparentes ou reflexivos, caso apareçam no fluxo de trabalho. Adicione também alterações de estado: aberto ou fechado, vertical ou inclinado, vazio ou preenchido. Uma resposta 3D válida deve ser repetida após a recalibração e mantida sob iluminação moderada ou mudanças de ponto de vista.

Estágio 2: Pontuação do ponto de contato e orientação de compreensão

A previsão do ponto de contato só é útil se sobreviver à física. Pontue se o ponto previsto fica dentro de uma região de contato válida para a tarefa, se o vetor de abordagem elimina objetos próximos, se a orientação da garra corresponde à geometria do objeto e se o contato proposto evita riscos de escorregamento, torque ou colisão que seus sensores podem observar.

Estágio 3: Calibração e consistência do quadro de coordenadas

Muitas falhas de manipulação não são falhas de modelo. Eles são bugs de quadro, desvio de carimbo de data/hora, erros de escala de profundidade, extrínsecos obsoletos ou transformações de ferramentas que não correspondem mais ao hardware. Audite extrínsecos da câmera, estrutura base do robô, transformação do efetor final, escala de profundidade, alinhamento de carimbo de data/hora, calibração mão-olho e repetibilidade de recalibração. Exige que a saída do modelo seja registrada com o quadro ao qual se refere. Um ponto sem moldura não é um plano de ação.

Estágio 4: Desordem, oclusão e mudanças no estado do objeto

Demonstrações de mesa limpa são necessárias, mas não provam muito por si mesmas. Adicione distratores, oclusões parciais, mudanças de estado do recipiente, embalagens deformáveis, superfícies reflexivas e movimento de objetos entre a percepção e a execução. O teste de aceitação deve registrar se as falhas vêm de percepção, aterramento, previsão de contato, planejamento, controle ou recuperação.

Avaliação VLA entre incorporações: do plano de tarefas à ação segura

Um VLA de incorporação cruzada deve ser testado como uma cadeia. A compreensão das instruções leva ao planejamento de subtarefas. O planejamento leva ao aterramento da cena. A fundamentação leva a propostas de ação. As propostas de ação são traduzidas em comandos específicos do robô. O robô executa, observa o resultado e continua ou se recupera. Um elo fraco em qualquer lugar dessa cadeia pode invalidar a implantação.

As tarefas de horizonte longo devem variar a localização do objeto, distratores, iluminação, estados intermediários e fraseado das instruções. A decomposição deve permanecer estável quando a cena muda, mas não pode ser rígida. Se um copo cair, o sistema não deve continuar cegamente com o aperto original.

O mapeamento de incorporação cruzada é a parte mais difícil de falsificar. Ações abstratas como pegar, despejar, empurrar, limpar, posicionar ou entregar devem ser mapeadas para o espaço de trabalho acessível de cada plataforma do robô, geometria da garra ou da mão, limites de juntas, estruturas de ferramentas, modelo de colisão e envelope de força ou velocidade. As máscaras específicas da modalidade devem bloquear posturas inacessíveis, orientações inseguras, zonas proibidas, força excessiva e ações incompatíveis com ferramentas.A observabilidade é obrigatória. Prompt de registro, imagens, entradas de profundidade, ponto de contato previsto, quadro de coordenadas do alvo, rastreamento de ação, decisões de máscara, confiança ou incerteza se exposto, ramificação de recuperação, substituição do operador e rótulo do resultado final. Sem esse rastreamento, não é possível distinguir uma fraqueza do modelo de um problema de calibração ou bug do controlador.

Plano de medição e reprodução de benchmark

Os materiais RynnBrain fazem referência à cognição incorporada, raciocínio espacial, localização, aterramento 3D e avaliação de robôs reais. O conjunto de reprodução necessário deve incluir os scripts de avaliação oficiais do RynnBrain, quando disponível, e documentação de benchmark relevante, como VSI-Bench, MMSI-Bench, RefSpatial-Bench e a página do conjunto de dados RynnBrain-Bench. Trate cada benchmark como um instrumento de medição, não como um proxy de implantação. Um modelo pode ter um bom desempenho na compreensão espacial e ainda assim falhar em sua garra, conjunto de objetos, orçamento de latência ou envelope de segurança.

A reprodução deve fixar código, ponto de verificação, versão do conjunto de dados, hardware, pilha de drivers, sementes aleatórias quando aplicável, pré-processamento de imagem, modelos de prompt e scripts de avaliação. Se o artigo relatar um resultado de referência, reproduza-o antes de usá-lo em um memorando de adoção. Se a reprodução falhar, registre o bloqueador: artefatos ausentes, incompatibilidade de ambiente, pré-processamento não documentado, diferença de hardware ou erro de implementação.

Simule primeiro e depois use testes físicos restritos. Os testes de robôs reais devem ser executados em baixa velocidade, dentro de um espaço de trabalho limitado, com acesso para parada de emergência, operação supervisionada e condições de aborto definidas. Os recursos de robótica de fabricação inteligente do NIST são úteis para o pensamento de avaliação, mas não tratam um teste de aceitação de pesquisa como certificação de segurança.

{
  "model": "RynnBrain 1.1",
  "acceptance_gates": ["artifact_integrity", "benchmark_reproduction", "metric_3d_grounding", "contact_viability", "embodiment_mapping", "safety_envelope", "supervised_trial"],
  "required_metrics": ["valid_3d_target_rate", "contact_point_validity", "grasp_orientation_validity", "intervention_rate", "recovery_success", "latency_distribution", "calibration_drift_sensitivity"],
  "deployment_blockers": ["unverified_license", "unreproduced_benchmark", "missing_frame_trace", "unsafe_action_mask_gap", "uncontained_failure"],
  "first_trial_scope": "single robot, bounded workspace, known objects plus controlled clutter, supervised low-speed execution"
}

Erros comuns, advertências e onde não implantar

As equipes erram nisso de maneiras previsíveis. Eles tratam o apontamento 2D como prova de prontidão para manipulação 3D. Eles ignoram as auditorias de calibração porque uma demonstração funcionou uma vez. Eles confiam em benchmarks de papel sem reprodução. Eles ignoram as diferenças de incorporação. Eles testam apenas cenas limpas. Eles omitem a recuperação de falhas. Eles medem o sucesso da tarefa, mas perdem a qualidade do contato, quase acidentes, intervenções e erros de estrutura.

Advertências operacionais são importantes. A avaliação leva tempo de engenharia. O comportamento do modelo pode variar de acordo com o tamanho, caminho de serviço, qualidade do sensor, formato do prompt e controlador do robô. Os feeds da câmera podem conter informações confidenciais. A simulação pode ocultar atrito, conformidade, latência e alterações no estado do objeto. Desvios de calibração. O hardware se desgasta. A inferência em rede pode adicionar instabilidade. Alguns artefatos do modelo podem expor menos incertezas ou detalhes de rastreamento do que os operadores desejam.

Não implemente um modelo incorporado aberto em manipulação crítica de segurança não supervisionada, espaços públicos ilimitados, interações de alta força, tarefas que exijam comportamento de segurança certificado, ferramentas instáveis ​​ou fluxos de trabalho onde as falhas não podem ser contidas. Evite implantações que capturem dados visuais confidenciais sem governança ou onde os operadores não possam inspecionar e substituir ações.

O caminho prático é estreito e valioso: verificar o lançamento, reproduzir o que puder, executar um teste de aceitação de manipulação 3D contido e definir critérios de rejeição antes do lançamento. Para equipes que avaliam IA incorporada aberta, a Optijara pode ajudar a traduzir lançamentos como RynnBrain 1.1 em planos de teste, portas de protótipo, reprodução de benchmark e roteiros de automação mais seguros, sem exagerar na prontidão.