Что лучше — оценка рекрутера или подбрасывание монетки? Вот данные:

Перевод статьи Алин Лернер и Питер Бергман

Этот пост — первый для interviewing.io, потому что он посвящен настоящему эксперименту, проводимому настоящей академической исследовательской лабораторией

Если вы читаете мои работы в течение последнего десятилетия, то знаете, что я всегда был чем-то вроде исследователя в кресле [прим. пер. человек, который занимается исследованиями, анализом и высказывает свои мнения, не имея практического опыта в изучаемой области]. До создания interviewing.io я провел несколько экспериментов, и с тех пор я и моя команда продолжаем их.

Одним из экспериментов, который я проводил до основания interviewing.io, была попытка выяснить, насколько хорошо рекрутеры умеют оценивать качество кандидатов по резюме.

Я проводил его 10 лет назад и обнаружил, что они не только плохо оценивают резюме (примерно так же точно, как подбрасывают монетку), но и не согласны друг с другом в том, как выглядит хороший кандидат.

Несмотря на то что в то время эти результаты были шокирующими, исследование имело ряд серьезных недостатков.
Во-первых, у меня не было объективных показателей того, какие кандидаты были действительно хорошими. В то время я работал рекрутером, поэтому я знал, кого мне удалось трудоустроить, но это, очевидно, не является абсолютной и окончательной оценкой инженерных способностей. Во-вторых, у меня была нерепрезентативная выборка инженеров-программистов. Благодаря своему бренду мне удалось привлечь множество отличных, нетрадиционных кандидатов — инженеров, которые на самом деле были очень хороши, но не выглядели хорошо на бумаге. Рекрутерам сложнее всего оценивать такие резюме, а в данных их было много. Наконец, размер моей выборки был не слишком велик: в итоге я получил 716 точек данных, из которых только около половины были получены от рекрутеров (остальные — от инженеров и менеджеров по персоналу — моя первоначальная гипотеза заключалась в том, что они лучше справятся с задачей, но я ошибся… все были плохи в оценке резюме).

Поэтому теперь, когда я являюсь CEO interviewing.io, имею доступ к гораздо большему количеству данных, ресурсов и команде отличных ученых в Learning Collider, мы решили провести это исследование снова, но с более строгим подходом и лучшими условиями, чтобы посмотреть, сможем ли мы повторить результаты. На этот раз мы сосредоточились только на рекрутерах, поскольку именно они чаще всего решают, кто из кандидатов пройдет собеседование.

Ниже представлены все детали, но вот краткий итог: мы воспроизвели результаты, которые я получил 10 лет назад! Наше новое исследование показало, что рекрутеры лишь немного лучше, чем подбрасывание монетки, в оценке кандидатов, и они по-прежнему не могут прийти к единому мнению о том, как выглядит хороший кандидат.

В этом материале мы также поговорим о том:

Насколько далеки были прогнозы рекрутеров и как сильно они противоречили друг другу
Что рекрутеры говорят, что ищут, против того что, согласно данным, они ищут на самом деле
Почему рекрутеры тратят больше времени на разбор резюме, что может привести к лучшим результатам (среднее время разбора составляет всего 31 секунду)
Может ли искусственный интеллект лучше справляться с оценкой резюме (спойлер: да, может).

Соавторами оставшейся части статьи являются Питер Бергман, Тушар Кунду и Кадим Норай из Learning Collider.

Установка

В реальном мире резюме (или профили LinkedIn) оцениваются рекрутерами за считанные минуты, а то и секунды, и именно эти оценки определяют, кто пройдет собеседование.

Но что эти «стены текста» говорят рекрутерам? Насколько их оценки могут предсказать успех на собеседовании? И, в конце концов, насколько рекрутеры хороши в оценке резюме?

Чтобы ответить на эти вопросы, мы провели исследование, максимально приближенное к реальным решениям технических рекрутеров. Мы попросили¹ 76 технических рекрутеров (как агентских, так и внутренних) оценить 30 резюме инженеров, как они это делают в своей повседневной работе.

Они отвечали на два вопроса по каждому резюме:

Пригласили бы вы этого кандидата на собеседование?² (Да или Нет)
Какова вероятность, что этот кандидат успешно пройдет техническое собеседование (в процентах)?

В итоге мы получили почти 2200 оценок более чем 1000 резюме.

Резюме в этом исследовании принадлежали пользователям платформы interviewing.io (с их согласия) — реальным инженерам, находящимся в поиске работы.

Сотрудничество с interviewing.io в рамках этого исследования стало идеальным вариантом, так как у нас была возможность сравнить оценки с фактическими результатами. Каждый инженер в этом исследовании прошел несколько пробных собеседований на платформе. Результаты этих собеседований достаточно точно предсказывают успех на реальных собеседованиях: топовые кандидаты (примерно 5% лучших пользователей) на interviewing.io в три раза чаще успешно проходят технические собеседования в ведущие компании по сравнению с кандидатами из других источников. Даже успешное прохождение одного собеседования на interviewing.io значительно увеличивает шансы: оно связано с 32%-ным ростом вероятности получения работы в компании уровня FAANG после собеседования.

Получив оценки рекрутеров для резюме, мы сравнили их с тем, как эти инженеры на самом деле проявили себя на interviewing.io: с их оценками навыков, отзывами от интервьюеров и, в конечном итоге, с тем, прошли ли они пробные собеседования.

Оценки резюме рекрутерами чуть лучше, чем подбрасывание монетки

Вопрос № 1: Пригласили бы вы этого кандидата на собеседование?

В среднем, рекрутеры в исследовании рекомендовали на собеседование 62% кандидатов. Но как их оценки соотносятся с реальными результатами кандидатов на платформе?

Мы оценили точность рекрутеров, приняв первое собеседование кандидата (прошел/не прошел) за истину, а решение рекрутера пригласить на собеседование — за прогноз. Оказалось, что рекрутеры делали правильный выбор в 55% случаев, что лишь немного лучше, чем случайное угадывание.

Вопрос №2: Какова вероятность, что этот кандидат успешно пройдет техническое собеседование?

Рекрутеры оценивали вероятность того, что кандидат пройдет техническое собеседование. В большинстве процессов найма техническое собеседование идет сразу после звонка от рекрутера и решает, пойдет ли кандидат на следующий этап. Умение точно предсказывать, кто успешно пройдет этот этап, важно и должно влиять на решение о приглашении кандидата на собеседование.

Самым удивительным оказалось то, насколько сильно их прогнозы расходились с реальностью:

Когда рекрутеры давали кандидатам самую низкую вероятность прохождения (0-5%), эти кандидаты на самом деле успешно проходили техническое собеседование с вероятностью 47%.
Когда рекрутеры оценивали вероятность прохождения на уровне 95-100%, эти кандидаты проходили с вероятностью 64%.

Ниже приведен график, показывающий прогнозы рекрутеров в сравнении с фактическими результатами. Ось X — это «корзины» с оценками рекрутеров. Например, первая точка включает всех кандидатов, которым рекрутеры дали 0-5% вероятности прохождения. Ось Y — это средний процент прохождения для этих кандидатов на interviewing.io. Красная пунктирная линия — это 100% точность: в идеальном мире, чем выше оценка кандидата у рекрутера, тем лучше его реальные результаты. Оранжевая линия показывает реальность — как видно, между оценками рекрутеров и реальными результатами кандидатов нет особой связи.

Прогнозы рекрутеров ниже 40% недооценивают кандидатов в среднем на 23 процентных пункта. При оценках выше 60% они, наоборот, переоценивают кандидатов в среднем на 20 пунктов. Если бы это касалось оценки успеваемости студентов, ошибки рекрутеров соответствовали бы снижению или повышению на целых две цифры

Рекрутеры не могут прийти к единому мнению о том, как выглядит хороший кандидат

Очевидно, что в оценке резюме много «шума». Были ли эти «шумные» суждения рекрутеров хотя бы последовательными при оценке одного и того же резюме?

Почти 500 резюме были оценены более чем одним рекрутером. На основе случайного выбора двух оценок на одно резюме, вероятность того, что два рекрутера согласятся (рекомендовать или не рекомендовать кандидата на собеседование), составила 64%.

Поскольку рекрутеры также оценивают вероятность прохождения кандидатом технического собеседования, мы можем сравнить, насколько различаются их прогнозы для одного и того же кандидата. Средняя разница между оценками двух случайно выбранных рекрутеров для одного и того же резюме составила 41 процентный пункт. Например, если один рекрутер прогнозирует 30% вероятности успешного прохождения собеседования, то другой рекрутер для того же резюме в среднем предскажет вероятность 71%.

Чтобы лучше понять масштаб разногласий, мы посмотрели на стандартные отклонения в оценках по разным кандидатам и по одному и тому же кандидату:

0,34 для разных кандидатов
0,32 для одного и того же кандидата

Таким образом, когда два рекрутера оценивают одного и того же кандидата, их уровень расхождения почти такой же, как если бы они оценивали двух совершенно разных людей.

Наиболее востребованные качества в резюме

Несмотря на «шум» и разнородность оценок резюме, некоторые характеристики стабильно вызывали у рекрутеров положительный отклик: опыт работы в крупной технологической³ компании (например, FAANG или схожей по уровню) и принадлежность к URM (недопредставленной группе меньшинств; в сфере технологий это обычно означает афроамериканское или латиноамериканское происхождение).

Наиболее значимым фактором для ответа на Вопрос №1 (хотел бы рекрутер пригласить кандидата на собеседование) оказался опыт в крупной компании — такие кандидаты на 35% чаще получали приглашение. Также рекрутеры с большей вероятностью выбирали кандидатов афроамериканского или латиноамериканского происхождения — вероятность приглашения для них была на 21%⁴ выше.

Что касается Вопроса №2 (насколько вероятно, что кандидат пройдет техническое собеседование), наличие опыта в крупной компании увеличивало оценку шансов кандидата на 21%. При сравнении с реальными показателями прохождения собеседований прогнозы рекрутеров для кандидатов из FAANG оказались довольно точными (в среднем лишь на 4 процентных пункта выше фактического результата)⁵. Однако, в отличие от опыта работы в крупной компании, URM-статус не влиял на мнение рекрутеров по этому вопросу.

Насколько заявленные рекрутерами причины отказа совпадают с реальными?

Теперь мы знаем, что рекрутеры склонны отдавать предпочтение определенным факторам, даже если не всегда признают это: 1) опыту в FAANG/крупных компаниях и 2) статусу URM. Но еще более интересно, почему рекрутеры склонны отказывать кандидатам.

Когда мы просили рекрутеров оценить резюме, мы также задавали вопрос, ПОЧЕМУ они приняли такое решение.⁶ Ниже приведены заявленные рекрутерами причины отказа. Как видно, «недостаток нужных навыков» — основная причина, и только на третьем месте идет «отсутствие опыта в крупной компании».

И тогда мы задумались… Насколько заявленные рекрутерами причины отказа соответствуют реальности? Чтобы это выяснить, мы проанализировали резюме, оказавшиеся в «стопке отказов», и выделили общие черты.

Ниже приведен график реальных причин отказа, основанных на нашем анализе. Основной причиной отказа оказался не «недостаток навыков», а «отсутствие опыта работы в крупной компании». Далее, что довольно неожиданно, но гораздо менее надежно (обратите внимание на большие погрешности), идет наличие степени MBA. «Отсутствие топового университета» и наличие степени магистра занимают третье и четвертое места. Обратите внимание: все четыре основных причины отказа касаются не навыков кандидата, а его профессионального или образовательного фона.

Ось Y на графике — это коэффициент регрессии отказа по указанному признаку. Таким образом, коэффициент Y для определенной характеристики означает, что наличие этого признака связано с увеличением вероятности отказа на Y*100 процентных пунктов.

Замедление связано с более качественными решениями

Еще один важный аспект этого исследования — время. В процессе найма рекрутеры принимают решения быстро. Перебирая «стопки» кандидатов через воронку, у них практически нет возможности перепроверить или подождать, прежде чем дать кандидату шанс на собеседование.

В нашем исследовании медианное время, затраченное на оценку резюме, составило всего 31 секунду. Если рассмотреть этот показатель подробнее для Вопроса №1 (будет ли рекрутер приглашать кандидата на собеседование), то медианное время составило:

25 секунд для тех, кого пропустили к техническому собеседованию
44 секунды для тех, кто попал в стопку отказов

Учитывая важность отдельных факторов (например, опыт работы в крупной компании), не удивительно, что рекрутеры принимают решения так быстро. Но может ли их точность повыситься, если они замедлятся? Оказалось, что более длительное время, затраченное на оценку резюме, особенно более 45 секунд, связано с более точными прогнозами — всего лишь добавление 15 секунд к оценке увеличивает точность на 34%.⁷ Это может означать, что если бы рекрутеров побудить замедлиться, это могло бы привести к более качественному отбору резюме.

Может ли ИИ сделать это лучше?

Как группа технологов и любителей данных, мы решили проверить, смогут ли алгоритмы устранить шум и несоответствия в прогнозах рекрутеров.

Мы обучили две стандартные модели машинного обучения.⁸

Как и человеческие рекрутеры, модели были натренированы на прогнозировании того, какие кандидаты смогут пройти технические собеседования. Обучающая выборка была составлена из данных interviewing.io и включала анонимизированные резюме (годы опыта, наличие работы в крупной компании и окончание топ-10 университетов на уровне бакалавриата или магистратуры), а также расу и пол кандидатов и результаты собеседований.⁹

Несмотря на очень ограниченные типы данных, которые мы ввели в обе модели, при оценке профилей кандидатов, не входивших в обучающую выборку, обе модели давали более точные прогнозы, чем человеческие рекрутеры.

Модель Random Forest оказалась несколько точнее рекрутеров в прогнозировании кандидатов с низкими результатами. Однако XGBoost была более точной в целом по сравнению как с моделью Random Forest, так и с рекрутерами.

Где мы находимся сейчас?

В этом разделе, когда мы говорим «мы», имеем в виду interviewing.io, а не исследователей, участвовавших в данном исследовании. Просто для справки.

Советы для кандидатов

В interviewing.io мы регулярно получаем просьбы от пользователей добавить в наш список услуг возможность проверки резюме. На данный момент мы отказались от этой идеи. Почему? Потому что мы подозревали, что рекрутеры, вне зависимости от того, что они говорят публично, в первую очередь обращают внимание на известные бренды в вашем резюме. Поэтому акцент на ваших навыках или приобретение новых навыков вряд ли существенно повлияет на ваши шансы.

Нам грустно видеть, что цифры подтверждают нашу интуицию о том, что в основном дело обстоит именно так.¹⁰ Поэтому вот один практический совет: сохраняйте здоровый скептицизм, когда рекрутеры советуют вам развивать свои навыки. Приобретение новых навыков, безусловно, сделает вас лучшим инженером, но вряд ли повысит вашу конкурентоспособность.

Если улучшение ваших навыков не поможет, что вы можете сделать, чтобы привлечь внимание компаний? Мы находимся на дне жесткого рынка труда, похожего на тот, что мы видели после краха доткомов в 2000 году. Судя по рассказам из нашего сообщества в Discord, даже менеджеры по найму из FAANG получают всего около 10% ответов, когда подают заявки в компании онлайн. Если это правда, каковы шансы у остальных из нас?

Мы настоятельно рекомендуем всем, кто ищет работу в этом рынке, особенно если у вас нет традиционного опыта, прекратить тратить силы на онлайн-заявки. Вместо этого свяжитесь с менеджерами по найму. Здесь цифры будут на вашей стороне, поскольку относительно немногие кандидаты обращаются напрямую к менеджерам по найму. Мы планируем написать полный пост в блоге о том, как правильно организовать такой подход, но вот краткая версия, которая поможет вам начать:

Получите аккаунт LinkedIn Sales Navigator.
Составьте целевой список менеджеров по найму в интересующих вас компаниях.
Найдите их электронные адреса (можно использовать такие инструменты, как RocketReach) и отправьте им что-то короткое и персонализированное. Не используйте LinkedIn. Так же, как вы не живете в LinkedIn, менеджеры по найму тоже не проводят там время. Расскажите о самом впечатляющем, что вы создали. Спросите их о их работе, если сможете найти их блог или проект, над которым они работали публично. Свяжите эти два момента, и вы увидите гораздо более высокий уровень откликов. Конечно, написание таких персонализированных писем требует времени, но в нынешних условиях это то, что вам нужно, чтобы выделиться.

Советы для рекрутеров

Мы знаем, что работа рекрутера непростая, особенно в нынешних условиях, когда количество заявок беспрецедентно велико, а рекрутеров меньше. Поэтому нам вполне логично, что рекрутер тратит не более 30 секунд на каждое резюме и в первую очередь ищет топовые бренды.

Тем не менее, мы надеемся, что эта статья заставит вас задуматься о вашем подходе, и мы хотели бы оставить вас с двумя практическими советами. Первое — если вы ничего не будете делать, пожалуйста, замедлитесь. Как показано выше, уделив всего 15 дополнительных секунд на прочтение резюме, вы можете увеличить свою точность на 34%.¹¹

Второй совет таков. Фреада Капор Кляйн из Kapor Capital ввела термин «пройденный путь» более 20 лет назад. Он относится к тому, что человек достиг, в контексте того, с чего он начинал. Например, Капор Кляйн рекомендует, чтобы в своих процессах приема на учебу университеты учитывали не только количество AP-тестов, которые кандидат сдал, но и количество AP-тестов, деленное на общее число, предложенное в их школе. Например, если кандидат сдал 5 AP-тестов, а его школа предлагала 27, это рисует совершенно другую картину по сравнению с другим кандидатом, который тоже сдал 5 AP-тестов, когда всего тестов в его школе было 5. Kapor Capital использует «пройденный путь» как один из своих критериев для определения, каких предпринимателей финансировать. Эту концепцию можно легко применить и к найму.

Посмотрите на резюме ниже. «Джон» (имя изменено; резюме опубликовано с разрешения) изучал химическую инженерию и постепенно перешел в программную инженерию, начав с работы сервисным инженером в области тестирования на проникновение. В то же время он прошел курс обучения, посетил Бредфилдскую школу компьютерных наук (школу, посвященную обучению компьютерным наукам на глубоком уровне, который не предлагает большинство университетских программ и, безусловно, большинство курсов обучения) и всего за три года получил должность старшего специалиста.

Джон постоянно оценивался рекрутерами плохо, но он является одним из лучших исполнителей на interviewing.io.

ОПЫТ РАБОТЫ

Ellation / Crunchyroll | Сервис аниме по подписке и с рекламной поддержкой
Ведущий инженер по безопасности и соответствию
2019 — 2022

Планировал и внедрял статический (Semgrep, Checkov, GitLeaks) и динамический (Nessus, Zap) анализ безопасности во всех CI/CD пайплайнах и репозиториях GitHub. Автоматизировал отчётность по безопасности, создавая централизованный сервис управления уязвимостями, что позволило отслеживать и устранять тысячи находок. Внёс предложения по добавлению безопасности контейнеров и Kubernetes: тестирование, сканирование, IDS (Falco) и подписание артефактов.
Архитектурно разработал и помог внедрить микросервис на Python для автоматизации обработки запросов на удаление данных клиентов в соответствии с требованиями GDPR и CCPA, что позволило сэкономить 1700 часов ручного труда инженеров в год по всей организации.
Обработал более 200 уязвимостей, занимался баг-баунти и программами раскрытия уязвимостей; переводил их в задачи для инженеров, предлагал решения, иногда лично устранял ошибки, взвешивая их степень риска и критичность. Находил и исправлял похожие уязвимости или создавал решения для целых классов уязвимостей.
Реагировал на инциденты безопасности, такие как атаки, DDoS, фишинг, мошенничество и захват аккаунтов.
Разработал и совместно с кросс-функциональной командой внедрил микросервис на Golang для проверки логинов и избежания доступа к системе от недоверенных пользователей, что снизило вероятность захвата аккаунтов клиентов.

Secure Applications Engineer
Новая команда безопасности и соответствия
2017 — 2019

Написал библиотеки для добавления возможностей «право на анонимизацию» и «право на удаление» для 14 микросервисов в соответствии с требованиями GDPR.
Создал чат-бота для повышения осведомлённости о безопасности на базе Lambda для 100+ пользователей как инфраструктуру как код через CloudFormation в новой AWS-учётной записи, включая создание VPC, подсетей, API Gateway, RDS, политик и групп безопасности. Сократил задержку p99 Lambda на 800% с помощью CloudWatch.
Обнаружил значительные уязвимости безопасности в инфраструктуре и PHP приложениях, добавив защиту CSRF для более чем 100 конечных точек; устранил 60 случаев XSS; исправил критическую SQL-инъекцию.
Настроил изменения в паролях для аннулирования сеансов, что позволило предотвратить атаки на более чем 100 тысяч аккаунтов.

Платежи и подписки:

Автоматизировал около 2 часов еженедельной работы SRE, восстанавливая неудачные подписки в активное состояние.
Выступал за планирование безопасности и тестирование в пайплайне автоматизации (Application Security Pipeline) через интеграцию ZAP, DependencyCheck и Nessus в Jenkins, что позволило тестировать все приложения.
Написал конкурентный рабочий процесс на Golang, обрабатывающий более 20 миллионов транзакций в год.

Infinity, Менеджер сервиса | Тестирование проникновения приложений и автоматизация в стартапе
2016

Создал автоматизированную систему email-рассылок для бизнеса на Python и Selenium, экономя 20 часов в неделю.
Применял принципы AppSec те 20 часов в неделю под руководством директора OWASP для поддержки команд AppSec.

ОБРАЗОВАНИЕ

SANS Technical Institute | Сертификаты по кибербезопасности и тестированию на проникновение
2021-настоящее время

Bradfield School of Computer Science | Полный курс обучения
2021

Hack Reactor | Интенсивный курс по разработке программного обеспечения
2017

University of Texas at Austin | Бакалавр наук в области химической инженерии
2014

СЕРТИФИКАЦИИ И ДРУГИЕ ТЕХНИЧЕСКИЕ НАВЫКИ

Сертификаты: GIAC GMOB, GPEN, GCPN, GCIA, GCIH, GCED, GCSA, CompTIA A+ и Sec+

Навыки и знания: Application Security, JavaScript, API (особенно REST), Git, PCI, PHP, MySQL, Архитектура компьютеров, Операционные системы, Алгоритмы и структуры данных, Компьютерные сети

На разбор резюме требуется немного больше времени, поэтому уделите чуть больше внимания достижениями кандидатов в контексте их исходных условий. Важно учитывать «знаменатель» — то, откуда они пришли. Однако это вовсе не значит, что мы рекомендуем снижать планку — совершенно нет. На платформе interviewing.io мы регулярно видим, как кандидаты вроде Джона объективно превосходят своих коллег из FAANG.

Что это значит для нашей отрасли

В прошлый раз, когда я проводил это исследование, я писал, что неспособность объективно оценивать резюме — это не повод для стыда, потому что само резюме является низкоинформативным и не слишком полезным документом.

Я придерживался этого мнения последние десять лет (и недавно даже написал статью о том, почему ИИ не может справиться с подбором кадров)… вплоть до момента, пока мы не провели это исследование и не построили два ML-моделя, которые превзошли рекрутеров.

Так что я признаю свою ошибку.

Как вы видели выше, оба алгоритма имели ограничения — они учитывали те же самые факторы, что и рекрутеры при беглом просмотре резюме, и, конечно, использовали меньше данных, чем доступно рекрутерам. Но, несмотря на это, модели ИИ всё равно показали лучшие результаты, чем люди. И что, если создать модель, которая бы работала, как рекрутер, читающий внимательно и полностью? Эти результаты заставляют меня поверить, что в резюме действительно есть полезные сигналы, и их можно обнаружить, если тщательно прочитать, что люди пишут о своей работе и себе, а также проанализировать, как они это пишут. К сожалению, чтобы найти эти сигналы, нужно больше времени и усилий, чем могут себе позволить большинство рекрутеров. И, оглядываясь назад, я понимаю, что это как раз та задача, которую можно поручить ИИ. Хотя мы не построили такую модель для этого исследования, я оптимистично настроен, что в будущем это возможно.

Как я писал в статье об ИИ, на которую я ссылался выше, для того чтобы ИИ мог по-настоящему помогать в рекрутинге, а не просто усиливать предвзятости, присущие рекрутерам, ему нужна база данных с объективными показателями эффективности кандидатов. Большинство существующих моделей ИИ в рекрутинге сейчас делают одно из трёх: продвинутый поиск по ключевым словам, обучение на предпочтениях рекрутеров (в результате чего оценивается, не насколько хорош кандидат, а насколько он интересен рекрутеру) или работают поверх уже существующих инструментов, вроде ChatGPT (который, как мы недавно показали, не очень хорошо справляется и предвзят к нестандартным кандидатам). Эти три подхода лишь позволяют совершать ошибки быстрее.

Надеюсь, что в недалёком будущем мы сможем использовать ИИ для более объективного отбора, основываясь на реальных данных о результативности. И я надеюсь, что такое решение с ИИ получит поддержку среди рекрутеров.

Примечания:

Участвующие технические рекрутеры получали фиксированную ставку и дополнительное вознаграждение за каждое точное предсказание. ↩
Разные роли требуют разных навыков. Чтобы учесть это, мы просили каждого кандидата указать, на какую инженерную должность он претендует: инженера-программиста (бэкенд или полный стек), мобильного инженера, фронтенд-инженера, ML-инженера, инженера по данным или менеджера инженерной команды. Если кандидат не указывал конкретную должность, по умолчанию его оценивали на роль инженера-программиста (бэкенд или полный стек). ↩
Топ-компании = Airbnb, Amazon, Anthropic, AWS, Apple, Asana, Atlassian, Bloomberg LP, Checkr, Coinbase, Coursera, Cruise, Dropbox, Etsy, Facebook, Flexport, GitHub, Google, Gusto, HashiCorp, Instacart, Instagram, Jane Street, Jump Trading, Khan Academy, LinkedIn, Lyft, Medium, Microsoft, Mozilla, Netflix, Oculus, OpenAI, Palantir, Peloton, Pinterest, Postmates, Quora, Reddit, Robinhood, Roblox, Salesforce, Segment, Slack, Snap, Snowflake, SpaceX, Spotify, Square, Stripe, Tesla, Thumbtack, TikTok, Twilio, Twitch, Twitter, Two Sigma, Uber, Udemy, Waymo, Whatsapp, Yelp и Zoom. ↩
Мы корректировали влияние опыта в FAANG и аналогичных компаниях (и всех других переменных) перед тем, как сделать это заявление, то есть эффект наблюдался и для инженеров из недопредставленных групп, у которых в резюме не было опыта в FAANG или аналогичных компаниях. Мы предполагаем, что рекрутеры предпочитают кандидатов из этих групп в рамках DEI (диверсификация, инклюзивность) инициатив. Разбор этого эффекта по объему и последствиям выходит за рамки данной статьи. ↩
Интересно, что рекрутеры могут, например, отрицательно относиться к альтернативному образованию. Кандидаты с альтернативными образовательными путями после школы — кодинг-бутафорамы или цифровые сертификаты — подвергались негативной оценке со стороны рекрутеров в этом исследовании. Однако ввиду ограниченности наблюдений (n=11) это вывод не является окончательным и требует дальнейшего изучения. ↩
Эта информация была необязательной, поэтому большинство причин рекрутеры указывали в случаях, когда они говорили «нет» — вероятно, потому, что причины для «да» казались очевидными. ↩
Дело не в том, что рекрутеры, которые обычно тратят больше времени, делают более точные суждения. Любой рекрутер, замедлившись, вероятно, лучше оценит резюме! ↩
Важно подчеркнуть, что ни один из алгоритмов не был разработан на заказ. Модели, одна на основе алгоритма Random Forest, а другая на основе XGBoost, являются разными, но связанными методами, похожими на деревья решений. Деревья решений распределяют данные на группы на основе признаков. Алгоритмы случайного леса объединяют несколько деревьев для улучшения прогнозов. XGBoost создаёт деревья решений последовательно, с каждым новым деревом, которое исправляет ошибки предыдущих. ↩
Обучающие данные не включали данные этого исследования. Мы очень серьёзно относимся к конфиденциальности данных пользователей и хотим подчеркнуть, что все модели были локальными и анонимными, и никакие данные этого исследования не были переданы в облачные LLM. ↩
Чтобы увидеть особенно яркий пример предпочтения брендов перед содержанием, взгляните на это фальшивое резюме, на которое отреагировали многие рекрутеры. И на это тоже. ↩
Мы не доказали причинно-следственную связь, но когда анализировали одного и того же человека, выяснилось, что потраченное время действительно помогает (другими словами, дело не только в том, что рекрутеры, которые тратят больше времени, обычно более точны; добавленное время имеет значение). Тем не менее, это требует дальнейшего изучения, и мы постараемся исследовать это более детально в будущем.

ссылка на оригинал статьи https://habr.com/ru/articles/857024/