DragGAN точная управляемость GANs для гибкого манипулирования изображениями и отслеживания точек

Создание визуального контента, удовлетворяющего требованиям пользователя, требует способности точно и гибко управлять позой, формой, выражением и расположением создаваемых объектов.

Существующие подходы обеспечивают управляемость генеративных адверсарных сетей (GAN) с помощью аннотированных вручную обучающих данных или предварительной 3D-модели, которым часто не хватает гибкости, точности и универсальности.

В данной работе мы исследуем мощный, но гораздо менее изученный способ управления GANs, а именно “перетаскивание” любых точек изображения для точного достижения целевых точек в интерактивной манере, как показано на рис. ниже.

Для достижения этой цели мы предлагаем DragGAN, который состоит из двух основных компонентов, включая:

• контроль движения на основе характеристик, который заставляет точку рукоятки двигаться к целевой позиции;
• новый подход к отслеживанию точек, который использует дискриминационные характеристики GAN для локализации положения точек рукоятки.

С помощью DragGAN любой может деформировать изображение, точно контролируя положение пикселей, таким образом манипулируя позой, формой, выражением и расположением различных категорий, таких как животные, автомобили, люди, пейзажи и т.д.