Agentic World Action Models

摘要

R e c e n t w o r l d a c t i o n m o d e l s p r o v i d e v i s u a l f o r e s i g h t a n d f u t u r e p r e d i c t i o n f o r r o b o t m a n i p u l a t i o n , b u t l a c k e x p l i c i t m e c h a n i s m s f o r c o m p o s i t i o n a l s k i l l r e u s e . A g e n t i c r o b o t i c s c o m b i n e s c o d e - b a s e d p l a n n i n g a n d r e a s o n i n g w i t h r e u s a b l e s k i l l s , b u t o f t e n l a c k s p r e d i c t i v e g r o u n d i n g i n p h y s i c a l d y n a m i c s . W e i n t r o d u c e A W - 0 , a n a g e n t i c w o r l d a c t i o n m o d e l f r a m e w o r k t h a t i n t e g r a t e s c o d e - b a s e d p l a n n i n g w i t h j o i n t v i d e o a n d a c t i o n p r e d i c t i o n . W e j o i n t l y m o d e l c o d e , f u t u r e v i d e o , a n d r o b o t a c t i o n s a s t h r e e c o u p l e d g e n e r a t i v e s t r e a m s w i t h i n a u n i f i e d m i x t u r e - o f - t r a n s f o r m e r s a r c h i t e c t u r e . W i t h i n t h i s a r c h i t e c t u r e a c o d e e x p e r t g e n e r a t e s p a r a m e t e r i z e d s k i l l r o u t i n e s a n d c o n t r o l l o g i c w h i l e v i d e o a n d a c t i o n e x p e r t s g e n e r a t e f u t u r e v i s u a l s t a t e s a n d l o w - l e v e l m o t o r c o m m a n d s . C o d e s e r v e s t w o c o m p l e m e n t a r y r o l e s : i t s t r u c t u r e s m u l t i - s t e p p r e d i c t i o n a n d c o n t r o l w i t h i n t h e w o r l d m o d e l a n d r e p r e s e n t s s k i l l s a s r e u s a b l e p r o g r a m s f o r s u b s e q u e n t a g e n t i c e x e c u t i o n . W e f u r t h e r i n t r o d u c e a n a u t o m a t e d c u r a t i o n p i p e l i n e t h a t l a b e l s r o b o t a n d h u m a n v i d e o t r a j e c t o r i e s w i t h a l i g n e d p r o g r a m s a n d c o n s o l i d a t e s r e c u r r i n g r o u t i n e s i n t o r e u s a b l e s k i l l l i b r a r i e s . E v a l u a t i o n s o n R o b o T w i n 2 . 0 a n d p h y s i c a l b i m a n u a l m a n i p u l a t i o n t a s k s s h o w i m p r o v e d t a s k p e r f o r m a n c e o v e r V L A a n d W A M b a s e l i n e s , a l o n g s i d e g a i n s i n l a n g u a g e f o l l o w i n g , s e m a n t i c r e a s o n i n g a n d r o b u s t n e s s , d e m o n s t r a t i n g t h a t a g e n t i c c o d e e n a b l e s c o n n e c t i o n b e t w e e n p l a n n i n g , p r e d i c t i o n a n d e x e c u t i o n w i t h i n W A M s .