RuLaw-ProofBench

Синтетический русскоязычный датасет для проверки знания и применения отдельных норм российского права. Выпуск содержит 194 тестовых примера по 27 статьям и 5 отдельных демонстраций. Он построен по конкретным положениям четырёх актов, выбранным для состояния на 01.01.2025. Область применения и временные условия указаны в самих вопросах.

Загрузка

from datasets import load_dataset

open_data = load_dataset("RefalMachine/RuLaw-ProofBench", "open")
mcq_data = load_dataset("RefalMachine/RuLaw-ProofBench", "mcq")

open и mcq — два представления одних и тех же примеров с одинаковыми ID. open требует короткий ответ; mcq — выбор правильной буквы из 2–4 вариантов. Для повторяемых экспериментов указывайте revision с полным ID Hub-коммита.

test используется для оценки целиком. train содержит только пять демонстраций для few-shot, а не обучающую выборку. Его статьи, нормативные зависимости, вопросы и ID не пересекаются с тестовой частью.

Состав тестовой части

Источник	Примеров
Федеральный закон № 59-ФЗ «О порядке рассмотрения обращений граждан Российской Федерации»	40
Трудовой кодекс РФ	47
Семейный кодекс РФ	63
Гражданский кодекс РФ	44

В 93 вопросах все необходимые факты заданы. В 57 вопросах некоторые факты неизвестны, но все допустимые уточнения дают одинаковый ответ. В 44 вопросах допустимые уточнения дают разные ответы, поэтому эталон — «недостаточно данных».

Поля

Поле	Содержание
id	Идентификатор примера, общий для open и mcq
article	Акт и статья, например tk:140
domain	administrative, labor, family или civil
question	Условие и вопрос; в mcq также перечислены варианты
answer	Короткий эталонный ответ
answer_unit	Единица числового ответа либо none
context	Точные тексты выбранной нормы и необходимых зависимостей
source_url	Ссылка на официальный источник
source_locator	Выбранная часть или пункт статьи
record_json	Исходная запись: типизированные факты, программный вывод ответа, ссылки и связи минимальных пар
choices	Только mcq: варианты в порядке букв A–D
answer_label	Только mcq: правильная буква
mcq_json	Только mcq: варианты с их буквами и привязкой к исходному примеру

Отдельного столбца с датой среза нет. record_json сохраняет исходную запись без изменения её содержания; временная область также остаётся в тексте вопроса.

В режиме закрытой книги передавайте модели только question. В режиме открытой книги добавляйте context. Поля с ответами и record_json не должны попадать в тестовый запрос к модели.

Как построен датасет

Сначала подготовлены конкретные нормативные фрагменты, необходимые отсылки и ограничения применимости. Затем основной алгоритм работал только с этим зафиксированным входом:

1. Модель записывала норму как правило с явными условиями и исключениями.
2. Отдельный вызов модели независимо восстанавливал правило из тех же норм, без доступа к условиям, ветвям и ответам первой версии.
3. Модель сопоставляла признаки двух версий; программа сравнивала результаты на допустимых сочетаниях фактов, включая неизвестные условия.
4. Программа создавала вопросы, вычисляла ответы и сохраняла полный вывод. Варианты MCQ выбирались из объявленных исходов правила.
5. Модель решала вопросы без эталонов и формальных правил. Разногласия отдельно разбирались; неоднозначные формулировки проходили итоговый аудит.
6. Отклонённые вопросы удалялись. Проверялись дубликаты и разделение test/train.

Основная модель — GPT-6.1 Sol, разбор разногласий — GPT-6 Astra, с запрошенным reasoning effort high. Сборка начата через OpenRouter и продолжена через подписочную прослойку. Во втором маршруте не поддерживаются max_tokens и принудительный JSON-формат; JSON проверяется самим построителем. Отдельные вызовы одной модели не являются независимой человеческой экспертизой.

Целью были 300 тестовых вопросов. После содержательного отбора осталось 194; отвергнутые статьи не добавлялись для заполнения квоты. Проверка перед публикацией воспроизвела итог без сети, повторно вычислила ответы и выводы, проверила варианты MCQ и отсутствие пересечений split.

Оценка

Для открытых ответов LLMTF использует normalized exact match: нормализацию коротких категориальных ответов и точных чисел с учётом единиц. Основная метрика — средняя accuracy по статьям; micro-accuracy можно сообщать отдельно. Для MCQ проверяется совпадение выбранной буквы с answer_label.

Вопросы одной статьи и минимальные пары зависимы: статистические сравнения следует проводить с группировкой по статьям. Открытый ответ и MCQ нельзя считать независимыми тестами. Старые результаты на выпусках 150 или 300 вопросов не являются результатами этого выпуска.

Ограничения

Набор проверяет узкие следствия заданных норм. Он не оценивает решение произвольных юридических дел, поиск всей применимой нормативной базы или актуальность российского права сегодня. Квалификации и часть ограничений задаются в условии, а неизвестность фактов трактуется формально.

Автоматические проверки подтверждают согласованность записей и правил; они не исключают общей ошибки интерпретации нормы моделями. Независимая экспертиза юристами не проводилась. Публикация может привести к попаданию примеров в обучение будущих моделей. Отдельная лицензия на производный набор пока не объявлена.

В этом репозитории опубликованы только README и данные. Код построения и оценки находится в проекте LLMTF.