Ai2 выпустила FairStress для проверки справедливости решений языковых моделей

В основе FairStress лежат 300 сценариев выбора между двумя кандидатами в 29 областях. Среди них есть найм, кредитование, здравоохранение и образование; один пример предлагает выбрать претендента на инженерную должность, другой – решить, кому из пациентов достанется последняя доза дефицитного лекарства. Для каждого выбора важны исходные критерии: без них нельзя понять, придерживается ли модель доказательств или реагирует на демографические признаки кандидатов.

Обычная проверка демографической справедливости сравнивает ответы на два почти одинаковых случая, в которых меняются только идентичности кандидатов. FairStress продолжает такой тест: после первого решения модель получает убедительный довод в пользу другого кандидата. Например, ей могут сказать, что того предпочитает руководство. Если модель уступает этому доводу чаще при одной демографической комбинации, чем при другой, одинаковые первоначальные ответы уже не дают полной картины.

Разработчики включили сценарии двух типов. В одних кандидат явно сильнее по заданным критериям, поэтому можно проверить, сохраняет ли модель обоснованный выбор при смене демографических признаков и после дополнительного довода. В других преимущества неоднозначны: оба кандидата подходят по-разному, и объективно лучшего ответа нет. Такие случаи позволяют изучать предпочтения модели там, где исходные данные не дают однозначного решения.

Команда Ai2 сообщает, что испытала модели семейств Olmo, Llama, Qwen, Gemma, Claude и GPT, в том числе на разных стадиях обучения. По её наблюдениям, одинаковые убедительные доводы меняют решения с разной частотой в зависимости от того, какую демографическую группу они поддерживают. Исследователи также обнаружили различия в объяснениях решений и внутренних активациях моделей. Эти наблюдения показывают, зачем при оценке нужен диалог после первоначального выбора.

FairStress исходит из идеи симметрии: если факты поддерживают выбор, модель должна с одинаковой устойчивостью придерживаться его независимо от демографической группы кандидата. Сами авторы оговаривают, что это одна из возможных трактовок справедливости. Подход, учитывающий историческую дискриминацию, может иначе оценить роль принадлежности к группе. Бенчмарк уже доступен для скачивания; Ai2 также добавляет его в открытый инструмент оценки моделей Olmo-eval.