GitHub: нейросети успешно справились с экзаменом на звание раввина
Продвинутые языковые модели впервые прошли реальные экзамены Главного раввината Израиля на звание раввина. Об этом свидетельствуют данные исследовательского проекта HalachaBench, опубликованные на платформе GitHub. В рамках эксперимента нейросети отвечали на иврите в строгом режиме «закрытой книги» – без доступа к интернету и внешним базам данных.
Для теста отобрали 60 вопросов из пяти билетов недавней экзаменационной сессии раввината. Задания охватывали законы ритуальной чистоты, брака, молитв, благословений и заповедей, связанных с Землей Израиля. Чтобы проверить стабильность ответов, каждый вопрос задавали по три раза.
Первое место заняла модель Claude Fable 5.1 от компании Anthropic, набрав 79,7 балла из 100 – этого достаточно для успешной сдачи. Следом расположились GPT-6 Astra с 73,3 балла и GPT-6.1 Sol с результатом 72,8. Бесплатные открытые модели тест полностью провалили, не набрав даже 11 баллов. При этом даже победитель упустил около пятой части обязательных требований для полного ответа.
Оценка работ осложнялась отсутствием официальных эталонных ответов у раввината. Разработчики составили критерии на базе мнений средневековых законоучителей и библиотеки Sefaria, а в роли судьи задействовали GPT-6 Astra. Авторы подчеркивают, что это пока лишь теоретический эксперимент: живые раввины ответы алгоритмов еще не проверяли.
Источник: jewish.ru
Читайте также
Все материалы рубрики
ТехнологииГлава Национального управления по искусственному интеллекту: Израилю нужна собственная ИИ-инфраструктура16:00, 9 ноября
ТехнологииИзраиль и Германия продлили соглашение о сотрудничестве в сфере энергетики11:00, 6 ноября
ТехнологииВ Израиле планируют построить первую геотермальную электростанцию на Голанских высотах15:00, 4 ноябряElbit Systems создаст для ЦАХАЛа артиллерийский учебный центр стоимостью $170 млн
Управление оборонных закупок Министерства обороны Израиля (УООП) в сотрудничестве с Сухопутными войсками Израиля подписало 15-летний контракт с компанией Elbit Systems на создание и эксплуатацию передового учебного центра по применению оружия, производимого этой базирующейся в Хайфе оборонной компанией, сообщило Минобороны Израиля.
Компания Elbit сообщила, что контракт стоит 170 миллионов долларов США.
Новый центр будет способствовать оперативной интеграции самоходной артиллерийской установки «Роэм» («Гром») и высокоточного реактивного снаряда «ЛАХАВ» (PULS) в артиллерийский корпус Армии обороны Израиля, сообщила в понедельник компания Elbit.
«Ro'em», или SIGMA, — это 155-мм самоходная гаубица с автоматической системой заряжания снарядов и лазерной системой Iron Beam, установленная на шасси. «SIGMA способна автоматически выбирать и заряжать необходимый снаряд, порох и взрыватель, а также наводить орудие для оптимального поражения целей», — заявили в Elbit.
Ракетный комплекс LAHAV устанавливается на американские грузовики HEMTT Oshkosh 8x8. Его независимые герметичные пусковые установки могут комбинироваться, что позволяет одному транспортному средству вести огонь различными типами оружия и калибрами.
Заместитель генерального директора и глава Управления оборонных закупок Зеев Ландау заявил: «Подписанное нами соглашение является важной новостью для укрепления мощи и боеготовности Армии обороны Израиля и напрямую отражает стратегию Министерства обороны по повышению оперативной готовности, укреплению израильской промышленности и обеспечению долгосрочного технологического и логистического реагирования полевых войск».