Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States

摘要

L a r g e l a n g u a g e m o d e l ( L L M ) a g e n t s c a n n o w u n d e r t a k e i n c r e a s i n g l y c o m p l e x t a s k s , b u t t h e w a y t h e y o r g a n i z e i n t e r a c t i o n h i s t o r y i n t o m e m o r y d o e s n o t e n s u r e a c o h e r e n t u n d e r s t a n d i n g o f t h e c u r r e n t w o r l d . W e i n t r o d u c e P o S , a n i n f e r e n c e - t i m e f r a m e w o r k t h a t c o n s t r u c t s a n d c o n t i n u a l l y m a i n t a i n s e x p l i c i t b e l i e f s t a t e s a s t h e a g e n t ' s d e c i s i o n c o n t e x t . E a c h b e l i e f c o m b i n e s a n e s t i m a t e o f t h e c u r r e n t w o r l d s t a t e w i t h u n r e s o l v e d t a s k r e q u i r e m e n t s , m a k i n g e x p l i c i t w h a t t h e a g e n t s t i l l n e e d s t o l e a r n a n d a c c o m p l i s h . T o k e e p t h i s b e l i e f r e l i a b l e a n d a c t i o n a b l e , P o S v a l i d a t e s i t s c o n s i s t e n c y a n d m o n i t o r s t a s k p r o g r e s s t o d e t e c t B e l i e f T r a p p i n g , w h e r e t h e a g e n t c o n t i n u e s t o a c t w i t h o u t m a k i n g m e a n i n g f u l p r o g r e s s t o w a r d t h e g o a l . R e c o v e r y i s t h e n t a i l o r e d t o b o t h t h e t r a p p i n g p a t t e r n a n d t h e t y p e o f u n r e s o l v e d t a s k r e q u i r e m e n t . E x p e r i m e n t s o n f o u r b e n c h m a r k s s p a n n i n g e x e c u t i o n a n d d i a g n o s i s s h o w t h a t P o S a c h i e v e s t h e h i g h e s t o v e r a l l p e r f o r m a n c e o n e v e r y b e n c h m a r k w i t h a l l t h r e e L L M b a c k b o n e s . A b l a t i o n s d e m o n s t r a t e t h e i m p o r t a n c e o f c o n s i s t e n c y v a l i d a t i o n a n d r e c o v e r y , w h i l e c o n t e x t - s c a l i n g e x p e r i m e n t s s h o w r e s i l i e n c e t o c o n t e x t g r o w t h . T o g e t h e r , t h e s e r e s u l t s s u p p o r t b e l i e f c o n s t r u c t i o n a n d c o n t i n u a l m a i n t e n a n c e a s a f o u n d a t i o n f o r l o n g - h o r i z o n c o n t e x t m a n a g e m e n t b e y o n d h i s t o r y r e t e n t i o n a n d c o m p r e s s i o n .