«Яд ва-Шем» разработал языковую ИИ-модель для поиска имен неизвестных жертв Холокоста
Инновационный отдел «Яд ва-Шем» разработал языковую модель искусственного интеллекта, способную находить новые имена и идентификационные признаки в базе свидетельств. Благодаря ИИ-модели в Зал имен уже добавлена информация о 400 неизвестных жертвах Холокоста, сообщает NEWSru.co.il.
На сегодня в Зале имен «Яд ва-Шем» собрано 4,9 миллиона имен жертв Холокоста. Добавление каждого имени требует большой работы, которая ведется на основе базы свидетельств. В базе на сегодня хранится около 10 миллионов записей из различных источников в разных форматах и на разных языках.
Имя добавляется в Зал только после того, как оно будет идентифицировано. На основе базы свидетельств должны быть установлены обязательные идентификационные признаки: имя, фамилия, имя отца или матери, профессия или год рождения. Все признаки должны быть подтверждены экспертами. Как отмечает в своем материале «Калькалист», особенно трудно идентифицировать детей. Они часто упоминаются даже не по имени, а просто – «мальчик» или «девочка».
База свидетельств – трудный для работы источник. В ней есть данные на самых разных языках, аудио и видеозаписи, многие источники рукописные, что еще больше осложняет работу.
Эксперты «Яд ва-Шем» знают, что в свидетельствах встречаются многочисленные упоминания не только того, кто это свидетельство предоставил, но и многих других жертв. Поэтому давно стояла задача рассмотрения перекрестных упоминаний. По ним можно установить идентификационные признаки. Но вручную эта работа едва ли осуществима, учитывая состояние источников и объем базы. Причем сама база постоянно пополняется.
Ученые «Яд ва-Шем» обучили языковую модель, которая может распознавать такие перекрестные упоминания. Сначала модель обучалась на данных размеченных экспертами, а потом начала искать сама. Модель проделала работу достаточно быстро и успешно. На основе данных, найденных моделью в Зал добавлено 400 новых имен. Каждое имя было дополнительно подтверждено экспертами. Еще примерно столько же имен ждут подтверждения. По оценке экспертов каждые 20 тысяч свидетельств в базе содержат информацию, по крайней мере, о семи новых именах. Важным результатом работы ИИ-модели должна стать унификация самой базы свидетельств и подготовка их кратких описаний.
Читайте также
Все материалы рубрики
82-летний Берни Сандерс будет снова баллотироваться в Сенат США
Сандерс, который в юности провел несколько месяцев в израильском кибуце, в своей критике Израиля ориентируется на премьер-министра страны Биньямина Нетаньяху
Берни Сандерс, двукратный кандидат в президенты и ведущий прогрессивный сенатор, объявил, что будет баллотироваться на четвертый срок.
82-летний независимый сенатор из Вермонта Сандерс вошел в историю в 2016 году, став первым кандидатом-евреем, участвовавшим в президентских праймериз от основной партии, и вновь выдвинул свою кандидатуру в 2020 году. На обоих праймериз он занял второе место. Он считается фактическим лидером прогрессистов в Сенате.
В восьмиминутной предвыборной речи, опубликованной в интернете в понедельник, Сандерс призвал приостановить военную помощь Израилю. Он был одним из самых видных критиков действий Израиля в войне против ХАМАСа в Газе, хотя он также вызвал критику со стороны некоторых левых за то, что не осудил Израиль более жестко.
«7 октября 2023 года террористическая организация ХАМАС начала войну в Газе с ужасной атаки на Израиль, в результате которой погибли 1200 мужчин, женщин и детей и было захвачено более 230 заложников, некоторые из которых остаются в плену и сегодня, — говорит Сандерс в видеоролике. — Израиль имел абсолютное право защищаться от этого террористического нападения, но он не имел и не имеет права начинать войну против всего палестинского народа, что он сейчас делает».
Сандерс, который в юности провел несколько месяцев в израильском кибуце, в своей критике Израиля ориентируется на премьер-министра страны Биньямина Нетаньяху.
«По данным гуманитарных организаций, голод уже неминуем, — сказал Сандерс. — По моему мнению, американские налоги не должны идти экстремистскому правительству Нетаньяху на продолжение разрушительной войны против палестинского народа».
Также в понедельник в отдельном посте Сандерс выразил тревогу по поводу израильских планов вторжения в Рафах, последний крупный бастион ХАМАСа в Газе, где нашли убежище более миллиона палестинцев.
«В течение нескольких месяцев США предупреждали об опасности нападения. Нетаньяху игнорировал предупреждения. Теперь нападение неизбежно. Оно приведет к гибели бесчисленного количества мирных жителей. Президент Байден должен подкрепить свои слова действиями. Прекратить всю наступательную военную помощь Израилю», — заявил сенатор.
В остальном видеоролик Сандерса посвящен услугам, которые, по его словам, он оказывает своему штату, в том числе расширенному медицинскому обслуживанию и ликвидации последствий наводнений, хотя он затрагивает и национальные вопросы, включая репродуктивные права.
В конце ролика он, как и другие демократы, заявил, что выборы этого года — испытание для демократии, что является намеком на перспективы возвращения к власти бывшего президента Дональда Трампа. Он также сказал, что необходимо сделать еще больше для решения проблем, которые он отстаивал, включая неравенство в распределении доходов и финансирование избирательных кампаний.
«Будут ли Соединенные Штаты продолжать функционировать как демократия, или мы перейдем к авторитарной форме правления? — спрашивает Сандерс. — Собьем ли мы беспрецедентный уровень неравенства доходов и богатства, который существует сейчас, или будем продолжать наблюдать, как миллиардеры богатеют, в то время как рабочие семьи борются за то, чтобы поставить хот какую-то еду на стол? Сможем ли мы создать правительство, которое будет работать на всех нас, или в нашей политической системе по-прежнему будут доминировать богатые спонсоры избирательных кампаний?»
В видеоролике Сандерс не упомянул о своем возрасте.
Другой сенатор от Вермонта, демократ Питер Уэлч, также выступил с критикой военных действий Израиля, как и единственный член Палаты представителей США от этого штата, Бекка Балинт, демократка еврейского происхождения.