La receta estándar en el aprendizaje de robots es recopilar cientos de demostraciones de expertos en un robot real, entrenar una política de aprendizaje de imitación con esos datos y luego evaluar la política ejecutándola muchas veces en el mismo robot real. Ambas etapas (recopilación y evaluación de datos) son lentas, costosas y difíciles de reproducir: fallas de hardware, cambios de iluminación, objetos que se salen de su lugar y cada nueva tarea significa más horas en el laboratorio.
Una pregunta natural es si podemos reemplazar parte de este trabajo con robots reales por un simulador. Los simuladores clásicos basados en la física son potentes, pero construir uno para una nueva tarea significa modelar manualmente geometrías, contactos, fricción y deformación, y el simulador resultante a menudo todavía no se ajusta lo suficiente a la realidad como para que se transfieran las políticas entrenadas en él.
En nuestro trabajo tomamos un camino diferente. Construimos un simulador de mundo interactivo: un modelo de predicción de vídeo aprendido y condicionado por la acción que, dada la imagen actual y una secuencia de acciones del robot, predice los siguientes fotogramas puramente en el espacio de píxeles, sin ningún motor de física en su interior.
Puede conectar un dispositivo de teleoperación y controlar el robot a través de este modelo mundial aprendido durante más de 10 minutos a 15 FPS en un solo RTX 4090, y el vídeo previsto se mantiene estable y físicamente plausible. – La evaluación de políticas se vuelve escalable y reproducible, porque podemos aplicar muchas políticas a través del simulador en condiciones idénticas.