Я начал использовать ИИ на собеседованиях с довольно понятной целью: лучше готовиться и меньше полагаться на первое впечатление. До встречи модель помогает разобрать резюме или тестовое задание, выделить спорные места и сформулировать вопросы. После — прочитать расшифровку и сопоставить ответы с критериями.
Поначалу самым интересным казался именно разбор кандидата. Но довольно быстро выяснилось, что самое неприятное и одновременно полезное оказалось не в ответах кандидата, а в моих собственных вопросах. ИИ раз за разом замечал, как я сам подсказываю ответ формулировкой вопроса, задаю два‑три вопроса одновременно, не выдерживаю паузу или начинаю учить человека до того, как закончил его оценивать.
Тут возник простой вопрос: если интервьюер сам влияет на ответы кандидата, кого в итоге оценивает собеседование?
От вопроса «что знать» к вопросу «как это увидеть»
В предыдущей статье я рассуждал о том, что узкие знания постепенно дешевеют, а ценность профессионала всё больше смещается к умению собрать контекст, увидеть стыки и проверить результат ИИ. Я назвал это «системным промптом» человека: принципами, вкусом и привычным способом думать о работе.
Следующий вопрос напрашивался сам собой: если теперь важно не только то, что человек помнит, то как за час разговора увидеть его принципы и способ думать? И не получится ли так, что мы хотим распознать «системный промпт» кандидата, а на деле проверяем, насколько хорошо он подстроился под системный промпт интервьюера или еще «лучше» — модели?
Собеседование получило логи
Мой процесс постепенно сложился в короткую цепочку:
подготовка → запись → расшифровка → разбор кандидата → разбор интервьюера.
Подготовка и разбор проходят в разных чатах, но в каждом чате у модели есть полный контекст о кандидате: резюме, тестовое задание и материалы всех прошлых встреч с HR. Удобно, но не закрепляет ли общий контекст исходное представление о кандидате? Сначала оно влияет на вопросы, а затем — на трактовку ответов.
До встречи ИИ составляет не заключение, а предварительные гипотезы. Например: кандидат хорошо видит основной процесс в тестовом задании, но, возможно, не проверил важное допущение. Или решение выглядит самостоятельным, но стоит уточнить, какую часть работы за него сделал ИИ. Такие заметки помогают подготовиться, но уже здесь появляется риск: гипотеза легко превращается в ожидание, а ожидание — в вопросы, которыми я невольно ищу только подтверждение.
После встречи я дважды разбираю расшифровку с помощью ИИ. Сначала проверяю выводы о кандидате: какой репликой подтверждается каждый из них. Затем прошу модель посмотреть только на моё поведение: где вопрос был наводящим, где я перехватил мысль, не дал времени ответить или, наоборот, создал безопасную обстановку. Решение всё равно остаётся за мной: расшифровка не становится истиной только потому, что её прочитала модель.
Об этом уже писали, но вопрос остался
На Хабре уже писали об ИИ как тренажёре собеседования и подсказках кандидату во время разговора. Есть и близкий практический пример — крутая статья про собеседование под нейросетью, где модель участвует в подготовке вопросов и оценке ответов.
Ещё я нашёл исследование о SmartView — системе, которая после разговора даёт интервьюеру автоматическую обратную связь. Поэтому сама мысль «анализировать интервьюера» не нова.
В этой статье я рассматриваю ещё один аспект: общий контекст проходит через весь цикл от подготовки вопросов до трактовки ответов и может закреплять исходное представление о кандидате.
Момент, когда не понятно — плохой ответ или вопрос?
На одном собеседовании я спросил:
Если в релиз помещается не всё, как определить то, что делать сначала, а что отложить? Какими инструментами вы бы воспользовались?
Кандидат подробно ответил на первую часть: назвал критичность для бизнеса, обоснованные потребности пользователей и трудоёмкость. В качестве примера предложил из двух одинаково важных задач сначала сделать ту, которая требует меньше времени. Про инструменты не сказал, поэтому второй вопрос мне пришлось задать повторно.
Без расшифровки я легко мог бы записать: «про инструменты ответил только после уточнения». Но расшифровка заставляет рассмотреть ещё одну версию. Что выбрать: кандидат не знал ответа, забыл вторую часть или просто выбрал одну из двух мыслительных задач, которые я уложил в одну фразу?
В этом эпизоде вопрос уже не в том, правильно ли кандидат ответил на вопрос, а в том, правильно ли я его задал. Составная формулировка моего вопроса, конечно, проверяет память, внимание и способность удержать длинный вопрос. Возможно, для работы это тоже важно, но считать пропуск второй части только признаком недостатка умений было бы слишком смело.
ИИ в разборе не решил эту неоднозначность за меня. Он обратил моё внимание на возможную привычку: я часто соединяю несколько вопросов, а затем отдельно уточняю то, что кандидат пропустил. Это наблюдение уже не о знаниях кандидата, а о качестве моего вопроса и надёжности вывода, который я делаю из ответа.
Что я исследую и уже нашел
Риск 1. Общий контекст может закреплять исходное представление о кандидате
Подготовка и разбор независимы лишь технически: это разные чаты, и модели могут быть разными. Но каждая получает одну и ту же историю кандидата. Исходное представление может задать сначала направление вопросов, а затем трактовку неоднозначных ответов.
Проверить это можно, сравнив вслепую оценки одной расшифровки при трёх наборах сведений: только расшифровка; расшифровка с резюме и тестовым заданием; полный контекст, включая все предыдущие встречи с HR. Затем повторить сравнение с двумя моделями и несколькими интервьюерами. Если добавление контекста систематически сдвигает оценки в сторону исходного представления, гипотеза получает подтверждение.
Это мне еще предстоит проверить.
Риск 2. Расшифровка не убирает субъективность, а меняет её носитель
У текста есть удобное свойство: можно потребовать, чтобы каждая оценка была подтверждена конкретной репликой. При этом расшифровка стирает интонацию, паузы и часть контекста, зато выдвигает на первый план складность речи, словарный запас и ошибки распознавания.
Авторы исследования Invisible Filters дали двум моделям расшифровки интервью 100 британских и 100 индийских соискателей и попросили оценить, насколько соискатели подходят для найма, а также выставить баллы по связанным характеристикам. Индийские расшифровки получали более низкие оценки даже после обезличивания; различия были связаны в том числе со сложностью предложений и разнообразием словаря. Этот результат нельзя напрямую переносить на российский найм, но он показывает сам механизм: обезличивание не устраняет языковые особенности, способные влиять на оценку.
Этот риск мне кажется очевидным и в проверке не нуждается.
Инсайт. Разбор интервьюера может улучшать следующие собеседования
Одна оценка кандидата влияет на одно кадровое решение. Привычки интервьюера — на все следующие собеседования. Если после нескольких разборов я реже подсказываю, задаю по одному вопросу и дольше выдерживаю паузу, то у меня появляется больше оснований для выводов о кандидатах.
Но здесь легко попасть в новую ловушку. Стоит превратить долю речи, длину пауз или число уточнений в целевые показатели — и живой разговор я начну подгонять под показатели.
Проверять эту гипотезу стоит не по количеству «зелёных галочек», а по результатам: насколько совпадают выводы разных интервьюеров, сколько оценок подтверждено репликами и считает ли сам кандидат разговор ясным и справедливым.
ИИ не судья, а повод перепроверить себя
Я пока не готов делать ИИ самостоятельным участником принятия решения о найме. Он умеет уверенно объяснить почти любую оценку, в том числе ошибочную. Зато он полезен для самопроверки: возвращает к реплике, помогает отделить наблюдение от вывода и замечает повторяющиеся привычки.
Возможно, главная польза ИИ в найме не в том, чтобы точнее поставить кандидату балл, а в том, чтобы понять, как этот балл получился и какую роль в оценке сыграли подсказки, ожидания и поспешные выводы интервьюера.
У меня ИИ уже нашёл подсказки, спрятанные внутри вопросов, и привычку задавать несколько вопросов сразу. А что бы он заметил в вашем последнем интервью, и какой вывод вы добавили бы к его разбору?
ссылка на оригинал статьи https://habr.com/ru/articles/1064206/