Исследователи из Университета Бар-Илан и центра NVIDIA разработали метод, который радикально улучшает понимание пространственных связей нейросетями без их переобучения.

Современные системы генерации изображений часто допускают ошибки в простых командах, путая расположение объектов, например, рисуя кошку над столом вместо того, чтобы поместить ее под стол. Команда предложила элегантное решение этой проблемы, которое не требует изменения архитектуры самой модели или дорогого переобучения. Новая методика анализирует внутренние паттерны нейросети в процессе работы, и таким образом понимает, как алгоритм распределяет объекты в пространстве. А затем простой классификатор мягко корректирует эти процессы в реальном времени, направляя "мысли" модели в нужном направлении.

Эффективность подхода подтверждена на практике: точность соблюдения пространственных инструкций в модели Stable Diffusion SD2.1 подскочила с очень малых 7% до 54%, а в модели Flux.1 – с 20% до 61%. При этом общее качество визуализации и художественные возможности ИИ остаются на прежнем высоком уровне. Технология открывает новые возможности в дизайне и других сферах, где критически важна точность расположения элементов в кадре. Теперь пользователю не нужно надеяться на удачу, поскольку управление пространством становится предсказуемым процессом.

Традиционно разработчики ИИ пытаются навязать модели жесткую логику: перекраивают архитектуру или заставляют нейросеть заучивать миллионы новых примеров, надеясь, что она наконец поймет, где "право", а где "лево", где "верх", а где "низ". Команда пошла по пути "интеллектуального смирения". Инженеры не стали диктовать модели, как именно она должна структурировать пространство, они "подсмотрели" внутренние паттерны уже обученной нейросети.

Оказалось, что внутри ИИ уже существуют определенные сигналы и связи, отвечающие за положение объектов, просто они слабы и запутаны общим шумом генерации, но их можно усилить.

Ведущий исследователь и соавтор работы Сапир Ифлах отметила: "Вместо того чтобы заставлять модель думать, как нам хочется, мы к ней прислушались. Это позволило нам ее понять и "легким касанием" подправлять в режиме реального времени уже существующие паттерны модели для получения более точных результатов".

newsru.co.il