LEGO: A Lifting-Free Approach for Exocentric-to-Egocentric Video Generation

摘要

G e n e r a t i n g a n e g o c e n t r i c v i d e o f r o m a s i n g l e e x o c e n t r i c r e c o r d i n g i s a c h a l l e n g i n g c a s e o f n o v e l v i e w s y n t h e s i s , a s t h e t w o c a m e r a s s h a r e l i t t l e o v e r l a p a n d m u c h o f t h e t a r g e t v i e w i s u n o b s e r v e d . C u r r e n t s t a t e - o f - t h e - a r t m e t h o d s r e c o n s t r u c t t h e s c e n e e x p l i c i t l y b y e s t i m a t i n g d e p t h , l i f t i n g t h e v i d e o i n t o a p o i n t c l o u d , a n d r e - r e n d e r i n g i t f r o m t h e e g o c e n t r i c c a m e r a t o c o n d i t i o n a v i d e o d i f f u s i o n m o d e l . T h i s d e t e r m i n i s t i c m a p p i n g a s s i g n s e a c h p i x e l t o a s i n g l e r e p r o j e c t e d l o c a t i o n , w h i c h p r e s e r v e s t e x t u r e b u t t r a n s l a t e s d e p t h e r r o r s i n t o m i s p l a c e d c o n t e n t . W e a s k w h a t a v i d e o d i f f u s i o n m o d e l s h o u l d r e c e i v e a s i t s c o n d i t i o n a n d p r o p o s e a l i f t i n g - f r e e a n s w e r : a l e a r n e d v i e w s y n t h e s i z e r , a n L V S M - s t y l e t r a n s f o r m e r f i n e - t u n e d t o r e n d e r t h e e g o c e n t r i c v i e w d i r e c t l y w i t h o u t d e p t h , p o i n t c l o u d s , o r r e p r o j e c t i o n , r e s o l v i n g c r o s s - v i e w c o r r e s p o n d e n c e i n t e r n a l l y . I n c o n t r a s t , i t s p r o b a b i l i s t i c m a p p i n g a v e r a g e s e a c h r e g i o n o v e r c a n d i d a t e s o u r c e l o c a t i o n s a c c o r d i n g t o a l e a r n e d c o r r e s p o n d e n c e d i s t r i b u t i o n , p r e s e r v i n g s t r u c t u r e w h i l e f i n e t e x t u r e i s a v e r a g e d a w a y . W e a r g u e t h a t t h i s t r a d e - o f f s u i t s a d i f f u s i o n g e n e r a t o r , w h o s e d e n o i s i n g t r a i n i n g e x c e l s a t r e s t o r i n g d e t a i l , s o a n e f f e c t i v e c o n d i t i o n s h o u l d p r i o r i t i z e s t r u c t u r a l a l i g n m e n t o v e r s h a r p n e s s . T h i s d i s t r i b u t i o n ' s c o n c e n t r a t i o n a l s o y i e l d s a p e r - r e g i o n c o n f i d e n c e , u s e d b o t h t o m a s k l o w - c o n f i d e n c e r e g i o n s a n d t o g u i d e t h e g e n e r a t o r t o w a r d h i g h - c o n f i d e n c e a r e a s d u r i n g e a r l y l a y o u t - f o r m i n g d e n o i s i n g s t e p s . O u r a p p r o a c h c o n s i s t e n t l y o u t p e r f o r m s t h e s t a t e - o f - t h e - a r t e x p l i c i t p i p e l i n e a n d g e n e r a l i z e s t o o t h e r d a t a s e t s w i t h o u t r e t r a i n i n g . T h e s y n t h e s i z e r t h u s s u p p l i e s v i e w s t r u c t u r e , a n d t h e d i f f u s i o n m o d e l i t s d e t a i l .