Израильские исследователи учат ИИ-модели аккуратно «забывать» конфиденциальную информацию
Исследователи из Тель-Авивского университета совместно с американскими коллегами выяснили, что существующие методы удаления информации из ИИ-модели допускают кражу оставшейся в базе конфиденциальной информации. Необходимость заставить обученную ИИ-модель «забыть» конкретную информацию, если этого требуют законы о защите данных (например, европейский закон о «праве на забвение»), таит в себе неочевидную ловушку.
Традиционно идеалом считается результат, идентичный полному переобучению системы с нуля без удаляемого фрагмента. Но ученые доказали, что попытка достичь такой точности создает каналы утечки. Злоумышленник может намеренно "скормить" модели собственные данные, а потом потребовать их удаления. Тогда, контролируя лишь малую часть данных, он может по изменению ответов получить доступ к конфиденциальным данным, хранящимся в модели. Наиболее опасна эта ситуация для моделей, которые в реальном времени обучаются на данных пользователей. Работа размещена на сервере arxiv.
Как показали ученые, когда модель корректирует свои веса после удаления информации, разница между состояниями "до" и "после" выдает слишком много информации о данных, оставшихся в системе. Существующие протоколы безопасности часто игнорируют этот риск, фокусируясь только на полноте удаления, а не на защищенности оставшегося контента. Это делает современные методы "машинного забывания" уязвимыми.
Чтобы исправить ситуацию, авторы работы предложили новый стандарт безопасности. Он смещает фокус с имитации "идеального переобучения" на активную защиту тех данных, которые не подлежат удалению. Такой подход позволяет сохранить ИИ-модели работоспособными без риска раскрытия защищенной информации. Новый метод показывает, что удаление данных - это не просто технический "ластик", а сложный процесс взаимодействия приватности и функциональности.
newsru.co.il
Читайте также
Все материалы рубрики
ТехнологииГлава Национального управления по искусственному интеллекту: Израилю нужна собственная ИИ-инфраструктура16:00, 9 ноября
ТехнологииИзраиль и Германия продлили соглашение о сотрудничестве в сфере энергетики11:00, 6 ноября
ТехнологииВ Израиле планируют построить первую геотермальную электростанцию на Голанских высотах15:00, 4 ноябряИзраильские ученые обучили ИИ-модель уверенно ориентироваться в пространстве
Исследователи из Университета Бар-Илан и центра NVIDIA разработали метод, который радикально улучшает понимание пространственных связей нейросетями без их переобучения.
Современные системы генерации изображений часто допускают ошибки в простых командах, путая расположение объектов, например, рисуя кошку над столом вместо того, чтобы поместить ее под стол. Команда предложила элегантное решение этой проблемы, которое не требует изменения архитектуры самой модели или дорогого переобучения. Новая методика анализирует внутренние паттерны нейросети в процессе работы, и таким образом понимает, как алгоритм распределяет объекты в пространстве. А затем простой классификатор мягко корректирует эти процессы в реальном времени, направляя "мысли" модели в нужном направлении.
Эффективность подхода подтверждена на практике: точность соблюдения пространственных инструкций в модели Stable Diffusion SD2.1 подскочила с очень малых 7% до 54%, а в модели Flux.1 – с 20% до 61%. При этом общее качество визуализации и художественные возможности ИИ остаются на прежнем высоком уровне. Технология открывает новые возможности в дизайне и других сферах, где критически важна точность расположения элементов в кадре. Теперь пользователю не нужно надеяться на удачу, поскольку управление пространством становится предсказуемым процессом.
Традиционно разработчики ИИ пытаются навязать модели жесткую логику: перекраивают архитектуру или заставляют нейросеть заучивать миллионы новых примеров, надеясь, что она наконец поймет, где "право", а где "лево", где "верх", а где "низ". Команда пошла по пути "интеллектуального смирения". Инженеры не стали диктовать модели, как именно она должна структурировать пространство, они "подсмотрели" внутренние паттерны уже обученной нейросети.
Оказалось, что внутри ИИ уже существуют определенные сигналы и связи, отвечающие за положение объектов, просто они слабы и запутаны общим шумом генерации, но их можно усилить.
Ведущий исследователь и соавтор работы Сапир Ифлах отметила: "Вместо того чтобы заставлять модель думать, как нам хочется, мы к ней прислушались. Это позволило нам ее понять и "легким касанием" подправлять в режиме реального времени уже существующие паттерны модели для получения более точных результатов".
newsru.co.il