СИНТЕЗ НОВЫХ ВИДОВ СЛОЖНОЙ СЦЕНЫ ПО РЕАЛЬНЫМ ФОТОГРАФИЯМ С ПОМОЩЬЮ NERF

Аннотация

Синтез новых видов сцены давняя проблема в области компьютерного зрения. На данный момент существует множество подходов к решению названной задачи, от обычной интерполяции между отдельными видами до нейронного рендеринга. В данной работе рассматриваются синтез новых видов сложной сцены по реальным фотографиям. В точности для исследования используются фотографии здания в жилом квартале снятое с разных ракурсов с различными изменчивыми объектами такими, как движущиеся машины или пешеходы, является значительной помехой для получения качественного результата. Благодаря NeRF (Neural Radiance Fields) был совершён прорыв. В контексте рассматриваемой проблематики можно выделить NeRF-W, позволяющего работать с фотографиями, сделанными при разных условиях освещения и наличии изменчивых объектов, и Instant NeRF, работающий в разы быстрее аналогов.