Prueba de aceptación de simulación robótica Newton Physics 1.5: el manual RSRAT para preparación de entrenamiento por lotes

Un simulador puede ganar una demostración y aun así fallar en la ruta de entrenamiento. La escena renderizada no es el problema. El problema empieza cuando cientos de mundos robóticos avanzan por pasos, una vía termina antes de tiempo, un reinicio toca estado que no debería tocar, o un caso límite de contacto queda oculto dentro de una curva de recompensa promedio.

Esa es la pregunta práctica detrás de Newton Physics 1.5. La versión en GitHub identifica v1.5.0 como una versión de funciones posterior a v1.4.0, con notas sobre simulación escalable por lotes, flujos de trabajo de control robótico, fiabilidad de contactos, fidelidad de importación de activos, mecánica de cables y rutas optativas de MuJoCo y Kamino. Son buenas noticias, pero no una luz verde por sí solas. Una versión puede añadir funciones útiles mientras el robot, los activos, los controladores y la pila de entrenamiento propios de un equipo todavía necesitan calificación.

Este artículo convierte la versión en la Robot Simulation Route Acceptance Test de Optijara, o RSRAT. No es un benchmark oficial de NVIDIA ni de Newton. Es una prueba operativa de consultoría para decidir si Newton 1.5 debe quedarse en uso de demostración, pasar a un canary limitado o soportar entrenamiento robótico por lotes más amplio. Para ideas cercanas sobre pruebas de aceptación, consulta la guía de Optijara sobre aceptación de ruta de políticas de Xiaomi-Robotics-1, las lecciones de validación en el borde en aceptación de pipeline de video JetPack 7.2.1, y el patrón de evidencia de pipeline de datos en aceptación del motor de datos multimodal Vane 0.1.0.

Por qué Newton Physics 1.5 necesita evidencia de ruta

Las notas de versión de Newton 1.5 mencionan control articular vectorizado experimental mediante newton.controllers, flujos de trabajo multi-world, reinicios enmascarados del solver, gravedad dedicada de mundo global, suspensión MuJoCo Warp optativa, generación hidroelástica determinista, geometría persistente, reinicio selectivo, manifolds de cajas estables, helpers de cables y correcciones con muchos contactos. El repositorio y la página de desarrolladores de NVIDIA posicionan Newton como un motor de física de código abierto para flujos de trabajo de robótica e IA física. Warp, Isaac Lab y MuJoCo MJX aportan el contexto alrededor de kernels de GPU, entornos de aprendizaje por refuerzo robótico y simulación MuJoCo orientada a JAX.

La pregunta de aceptación es más estrecha. ¿Tu ruta a través de esas funciones produce evidencia repetible para tus robots y escenas? Una importación USD puede tener éxito mientras cambia el comportamiento de colisión. Una ruta MJCF puede conservar el archivo pero desplazar supuestos del controlador. Una ejecución por lotes puede informar rendimiento mientras una vía fallida contamina la muestra de entrenamiento. Las mejoras de contacto aún necesitan comprobaciones de reproducción contra las escenas que realmente te importan.

El tamaño del lote es una métrica débil de preparación. La mejor señal es si las peores vías siguen visibles, aisladas y explicables. RSRAT empuja a los equipos hacia ese estándar. Pide bloqueos de versión, paridad de importador, aislamiento de reinicio, estrés de contacto, reproducción de controladores, límites de canary y propiedad de rollback. Ese mismo hábito de trazabilidad de evidencia aparece en la prueba de traza de evidencia de Cloudflare Radar Researcher de Optijara, donde una afirmación solo es útil cuando la ruta puede reproducirse.

La ruta RSRAT: cinco puertas antes de escalar

Cada puerta RSRAT devuelve un estado de ruta. Aprobado significa que la ruta puede continuar. Vigilancia significa que puede continuar solo dentro de un canary con nombre y monitorización estricta. Fallo significa que la carga de trabajo se mantiene solo como demostración hasta que el defecto se arregle o el alcance se reduzca.

Puerta 1: Fijación de versión y entorno

Empieza bloqueando la página de versión de Newton, la etiqueta, el commit, las versiones de dependencias, el controlador de GPU, el runtime, la versión de Warp, la capa de integración, los hashes de escenas y la configuración del solver. La página de versión v1.5.0 da la identidad de la versión y la evidencia de commit. Ese registro no es papeleo. Es lo que permite a un ingeniero reproducir una mala traza de contacto más tarde.

Puerta 2: Paridad de importación de activos

Comprueba que las rutas USD y MJCF preserven articulaciones, límites, masas, formas de colisión, sensores, actuadores y supuestos del controlador. Isaac Lab es un punto de referencia relevante para muchos flujos de trabajo robóticos centrados en USD. MuJoCo MJX es un punto de referencia relevante para rutas MJCF orientadas a JAX. Cargar el archivo no es aceptación. Hacer coincidir los supuestos físicos es aceptación.

Puerta 3: Aislamiento de mundos por lotes

Newton 1.5 destaca reinicios enmascarados del solver, gravedad dedicada de mundo global y trabajo de reinicio selectivo. RSRAT pide a los equipos demostrar aislamiento con hashes de estado, semillas aleatorias, buffers de contacto, trazas de recompensa y comprobaciones del integrador del controlador mientras una vía se reinicia y sus vecinas siguen avanzando.

Puerta 4: Estabilidad de contactos y controladores

Las escenas ricas en contactos son donde las demostraciones pulidas pueden empezar a mostrar debilidad. Reproduce casos de agarre, deslizamiento, apilado, impacto e hidroelasticidad que coincidan con la tarea prevista. Para los controladores, reproduce ejecuciones nominales e inicios perturbados, y luego inspecciona saturación de actuadores, deriva del integrador y recuperación desde estados malos.

Puerta 5: Control de despliegue y regresión

Una actualización de simulador necesita un propietario de ruta, alcance de canary, ruta de respaldo y disparador de rollback. Eso es especialmente cierto para equipos que usan simulación dentro de un pipeline de entrenamiento, donde un defecto silencioso del simulador puede consumir tiempo de cómputo antes de que alguien vea el supuesto equivocado.

Puerta 1: Fija Newton 1.5 y define la reproducibilidad

Construye un manifiesto antes de las pruebas de rendimiento. Registra la versión de Newton, la etiqueta y el commit, la URL fuente de Newton, la versión de Warp, el entorno Python, los detalles de CUDA y del controlador de GPU, el sistema operativo objetivo, la capa de integración, los hashes de escenas, la configuración del solver, la configuración del controlador, la política de semillas aleatorias y la versión del ejecutor de pruebas. Si la ruta toca Isaac Lab, registra la versión de Isaac Lab y las definiciones de tareas. Si toca MuJoCo o MJX, registra la fuente XML o MJCF y la configuración de MJX.

Mantén las etiquetas visibles. La versión Newton 1.5 etiqueta el control articular vectorizado como experimental y la suspensión MuJoCo Warp como optativa. Esas etiquetas deben acompañar a la función hasta la decisión de ruta. Las funciones experimentales pueden evaluarse, pero no deberían convertirse silenciosamente en infraestructura requerida. Las rutas de cables, deformables, hidroelásticas y otras con muchos contactos necesitan la misma disciplina porque son sensibles a la configuración del solver, la geometría y el diseño de la tarea.

Define la reproducibilidad antes que la velocidad. Una ejecución más rápida que no puede reproducirse es evidencia débil. Las señales útiles incluyen firmas de reproducción con semilla fija, checksums de episodios, recuentos de eventos de contacto, checksums de estado de reinicio, tiempo de paso en cola, tasa de NaN o explosión, y deriva de regresión contra un corpus conocido. Estas métricas no prueban transferencia sim-to-real. Prueban si la ruta de simulación está lo bastante controlada internamente para soportar experimentos de entrenamiento.

Puerta 2: Prueba la fidelidad de importación USD y MJCF

Las comprobaciones de importador deben ser estrictas y un poco aburridas. El fallo de importación más caro suele ser pequeño: un eje de articulación que se movió, una propiedad de masa que cambió, una aproximación de colisión que altera el deslizamiento, o un mapeo de actuador que da a una política la observación equivocada.

Ejecuta comprobaciones sim-to-sim antes del entrenamiento. Usa escenas pequeñas, semillas fijas y controladores de referencia. Compara envolventes de trayectoria, no solo la recompensa final. Si una carga de trabajo usa USD mediante Isaac Lab y otra usa MJCF mediante MuJoCo o MJX, trátalas como rutas separadas con manifiestos separados. No permitas que un resultado limpio en una ruta lave el riesgo de la otra.

Puerta 3: Demuestra el aislamiento de reinicio selectivo

La prueba central de RSRAT es el aislamiento de reinicio selectivo. Construye un lote con varios mundos: una vía diseñada para terminar antes de tiempo, una con estrés de contacto, una escena base tranquila y una familia de activos diferente. Reinicia una vía mientras las otras continúan. Luego compara hashes de estado antes y después del reinicio, semillas aleatorias, buffers de contacto, trazas de recompensa, buffers de controlador y banderas de terminación.

Un aprobado no requiere que cada valor de coma flotante coincida en todos los dispositivos. Requiere evidencia de que los criterios de aceptación de la ruta son lo bastante estables para la carga de trabajo. La vía reiniciada no debería alterar recompensas, buffers de contacto ni integradores de controlador vecinos. Una vía fallida no debería desaparecer dentro de métricas de nivel de lote. La aleatorización debe quedarse dentro de los límites declarados, de modo que una configuración global como la gravedad no cambie los supuestos de mundos vecinos salvo que ese sea el experimento.

Prueba por niveles. Empieza con un lote pequeño donde los defectos sean fáciles de inspeccionar. Pasa a un lote mixto con escenas y familias de robots diferentes. Luego ejecuta un lote de estrés que aproxime la forma de entrenamiento prevista. Rastrea la tendencia de rendimiento, margen de memoria de GPU, tiempo de paso en cola, fallos de aislamiento de reinicio y reproducibilidad de episodios. El rendimiento promedio por sí solo no basta porque la ruta de entrenamiento suele fallar en la cola.

Puerta 4: Estresa contactos, controladores y comportamiento de suspensión o reactivación

Las notas de versión de Newton 1.5 apuntan a mejor manejo de contactos, incluida generación hidroelástica determinista, geometría persistente, reinicio selectivo, manifolds de cajas estables, acoplamiento proxy VBD de superficie completa y correcciones de capacidad en rutas relevantes. Trata esas notas como razones para escribir pruebas más precisas.

Reproduce escenarios ricos en contactos que representen la ruta: pinzas cerrándose sobre objetos, cajas apilándose y deslizándose, impactos, interacciones de cables o deformables cuando aplique, y escenas hidroelásticas si la carga de trabajo las usa. Compara distribuciones de recuento de contactos, escenas atípicas, síntomas de penetración o deslizamiento, y recuperación tras perturbación. Algo de variación numérica es normal. Explosiones repetidas, deriva inexplicada, NaN o regresiones específicas de la ruta no lo son.

Las pruebas de controladores deben incluir semillas nominales, inicios perturbados y condiciones de latencia de cola. Vigila saturación de actuadores, deriva del integrador, recuperación inestable y trazas de recompensa que se ven bien solo porque una vía fallida fue promediada hasta desaparecer. Si la ruta usa control articular vectorizado experimental, conserva esa etiqueta en la decisión de ruta. Si usa suspensión MuJoCo Warp optativa, prueba el comportamiento de reactivación en escenas donde árboles articulados inactivos se vuelven activos después de un contacto.

La matriz de decisión RSRAT

La matriz de decisión convierte evidencia en una ruta. Es conservadora por diseño porque la aceptación del simulador cuesta menos que entrenar con datos contaminados.

Solo demostración está bien para exploración y visualización. Una ruta canary encaja con evidencia mayormente fuerte pero que aún tiene un riesgo nombrado en un conjunto limitado de escenas o una familia de robots. El entrenamiento por lotes ampliado necesita puertas aprobadas, evidencia legible por máquina almacenada y disparadores de rollback que el equipo vaya a usar realmente.

El diseño del canary debe incluir un corpus pequeño de regresión, una forma de lote limitada, un simulador de respaldo conocido o una ruta de versión anterior, umbrales específicos de la ruta y un propietario. Haz rollback cuando la paridad de importador rompa activos críticos, los reinicios selectivos filtren estado, el comportamiento de contacto se vuelva inestable, la reproducción del controlador diverja o las métricas del canary fallen los criterios acordados.

Checklist de implementación y plan de medición

Usa esta checklist antes de ampliar una ruta Newton 1.5.

{
  "framework": "RSRAT",
  "simulatorVersion": "Newton Physics v1.5.0",
  "sourceUrls": ["https://github.com/newton-physics/newton/releases", "https://github.com/newton-physics/newton"],
  "importRoutes": ["USD", "MJCF"],
  "batchSizes": ["small", "mixed", "stress"],
  "resetIsolationStatus": "pass-watch-fail",
  "contactRepeatabilityStatus": "pass-watch-fail",
  "canaryDecision": "demo-only | limited-canary | expanded-training",
  "rollbackPlan": "owner, trigger, fallback route"
}

La medición debe cubrir margen de memoria de GPU, tendencia de rendimiento, tiempo de paso en cola, fallos de aislamiento de reinicio, atípicos de contacto, tasa de NaN o explosión, reproducibilidad de episodios y deriva de regresión. Los equipos que necesiten un banco de pruebas independiente pueden adaptar RSRAT internamente o pedir a Optijara convertirlo en un flujo de trabajo medido de calificación de simulador ligado a su pila de entrenamiento y automatización.

Qué hacen mal los equipos

Error 1: Tratar el éxito del importador como paridad física

Una escena que carga no es necesariamente una escena que preserva los supuestos de control. Arréglalo con tablas de paridad de importador, escenas de referencia y reproducción de controladores antes de que empiece el entrenamiento.

Error 2: Promediar hasta ocultar fallos de cola y reinicio

Los promedios de lote pueden ocultar la vía fallida. Rastrea tiempo de paso en cola, fallos de aislamiento de reinicio, atípicos de contacto y reproducibilidad a nivel de episodio. Si una vía explota, la ruta debe hacerlo visible.

Error 3: Ampliar lotes antes de que exista rollback

Un canary sin rollback es solo un experimento más grande. Define el simulador de respaldo o la ruta Newton anterior, el propietario, las condiciones de parada y la evidencia requerida para reanudar.

Error 4: Exagerar la evidencia sim-to-real

La aceptación del simulador puede reducir riesgos internos conocidos. No prueba transferencia física. La transferencia al mundo real requiere validación física, evidencia específica de la tarea, revisión de seguridad y límites cuidadosos sobre lo que significan los resultados de la simulación. RSRAT es útil porque hace que la ruta del simulador sea más auditable antes de que los equipos gasten cómputo de entrenamiento en evidencia débil.