Ученые СПбГУ впервые провели масштабное научное сравнение шести больших языковых моделей как интервьюеров и выяснили, что каждая из них сильна в своем: одна — самая эмпатичная, другая — самая быстрая и точная, третья — задает максимум вопросов, рискуя утомить собеседника.
В настоящее время большие языковые модели (LLM) научились не просто отвечать на вопросы, но и задавать их. Это открыло возможность использовать искусственный интеллект в роли интервьюера — например, для первичного сбора данных в психологии, социологии или при медико‑просветительских беседах.
Однако до недавнего времени оставалось неясным, насколько хорошо LLM справляются с этой ролью. Умение задавать уточняющие вопросы, проявлять эмпатию, не перебивать и не навязывать свое мнение — это навыки, которые присущи только человеку.
Исследователи из Санкт‑Петербургского государственного университета, Института психологии РАН и Института искусственного интеллекта AIRI впервые провели систематический, контролируемый эксперимент, в котором поведение LLM‑интервьюеров оценивалось не по скорости или объему текста, а по критериям качества беседы.
Мы разработали модульного LLM‑агента, который выступает в роли интервьюера. Агент получает заранее заготовленный список из 54 основных вопросов, охватывающих биографию, семью, интересы, жизненные вызовы, ценности, работу и здоровье собеседника. После каждого ответа он должен решить, достаточно ли информации получено или нужно задать уточняющий вопрос.
Ведущий аналитик данных Центра искусственного интеллекта и науки о данных СПбГУ Михаил Козин
«Если нужно — сформулировать его самостоятельно. Для того чтобы сравнение между разными моделями было честным, авторы использовали стандартизированные стенограммы реальных человеческих интервью», — сказал ведущий аналитик данных Центра искусственного интеллекта и науки о данных СПбГУ Михаил Козин.
Исследование было выполнено на основе шести современных языковых моделей: Claude Sonnet 4, Gemini 2.5 Pro, GPT 5 Chat, Grok 4, Qwen3 235B и DeepSeek Chat V3.1. Каждая модель провела интервью с 10 виртуальными собеседниками, а общий массив для анализа составил почти три тысячи вопросов и уточнений. Затем три эксперта‑психолингвиста независимо оценили каждое действие интервьюера по пяти бинарным критериям: доброжелательность тона, необходимость уточняющих вопросов, контекстная осознанность и оправданный пропуск (когда интервьюер решил не задавать вопрос — было ли это решение правильным).
Степень согласия между экспертами оказалась очень высокой — от 67 до 93 % в зависимости от критерия. Помимо этого, ученые измерили скорость работы моделей, количество заданных уточняющих вопросов и провели детальный лингвистический анализ. Они смотрели, какие местоимения, времена глаголов, усилительные слова и синтаксические конструкции используют разные LLM.
Пресс-релиз подготовлен на основании материала, предоставленного организацией. Информационное агентство AK&M не несет ответственности за содержание пресс-релиза, правовые и иные последствия его опубликования.
