Почему любая оценка IT-шников обречена на провал?

Ряд компаний рассказывает о своих невероятно необходимых рынку решениях, «как мы оценим всех айтишников», «сэкономим время на собесах и снизим стоимость найма».

Пример (читать всю статью не обязательно).

HH.ru придумывает идею о сертификации айтишников. Аутсорсы вроде ItQuick предлагают под видом вакансий с ЗП по потолку рынка — свою платформу по оценке грейда и «синьерности».

Давай посмотрим, а какие есть в этом проблемы.

Очевидные проблемы подобных систем

Бинарно положительные результаты — т. е. либо «угадал» и ответ верный, либо нет. Вроде должно работать, но когда в игру вступает неоднозначность формулировки вопроса, предвзятость автора вопроса(в it миллион холиваров на любую банальную тему), то такие вопросы очевидно не дают точности оценки. Также в процессе автоматизированного тестирования скилов нет возможности получить какие‑либо уточнения, как на классическом собеседовании, что усиляет эффект неточных формулировок и частоту некорректных ответов.

Ошибки переобучения — такие системы тестируется изначально внутри компании и на ее сотрудниках — разработчиках системы. Получается, что вопросы и стек подбирается не на основе запросов всего рынка, а конкретной конторки, в результате чего успешно проходят только сотрудники этой самой конторки(или аналогичных), а не профессионалы рынка в целом.

Специфические темы. Отчасти это про ошибки переобучения, но здесь про каверзные вопросы вроде «а что выведет этот код» — и представлен пример совершенно нелепого и запутанного кода, который ни один здравомыслящий человек в жизни не видел бы, и нужно очень постараться, чтобы даже задуматься, чтобы написать нечто подобное «для себя».

Субъективизм. Сколько холиваров на тему «кто синьер» на хабре, в компаниях. Везде. Пример из жизни: При переходе на синьерскую должность из моей компании, где я изначально работал джуном, произошел разговор о повышении, где мне отказали в переходе на мидла ссылаясь на то, что «ОПЫТА МАЛО, и работаю я плохо». Более 1,5 года я работаю синьером после того разговора. Я был джуном или синьером в тот момент?)

В целом, грейд — не про навыки, а про уровень ответственности.(что превращает саму задумку оценки грейда тестом — в абсурд xD).

Продаем систему оценки клиентам

Почему топы рынка должны у нас купить? Почему их текущая система оценки грейдов — никчемная, а наша — топчик? Короче, веду к банальной проблеме доверия, потому что тут не столько важно сэкономить время на собесы, сколько не ошибиться при оценке кандидата.

Почему вообще вам стоит доверять?

Если мы в бизнесе делаем, что то, где нам нужно просто «поверить» — то это гарантированный провал. Идея сразу убыточная, ее нужно забыть.

Бизнес думает из выгоды. Выгода — снизить косты на найм и найти того, кто гарантированно крутой. Ооукей, а как вы гарантируете что кто‑то крутой? Сделаете сложные вопросы? Допустим.

А как решать случай, где человек использует чатГПТ/»паравозик»/слив ответов? Сделать сложным недостаточно, нужно ещё и валидировать процесс прохождения теста.

Попытка бороться с этим на ЕГЭ — тюремный режим в день проведения экзамена. Можно здесь ставить записи вебки и экрана, чтобы как у школьников. Но взрослые люди точно согласятся, что к ним в трусы будут лезть проверяющие в поисках телефонов? Возможно, на унижение тотальной слежки готовы пойти только запуганные и лишенные выбора дети, но в отличие от них, у работающих спецов есть выбор. Убедить их — проблема.

К тому же никакие проверки не способны пресечь заучивание ответов, хотя, очевидно, в работе человек, заучивший ответы — будет плох.

Короче, много организационных и концептуальных проблем, которые бизнес может решить(но не будет, как обычно). Допустим! Проблемы решили, клиент доволен, компрометации ответов нет.

А что для кандидата? Ему какие выгоды?

Прошел 1 раз — и на собеседования ходить не нужно.

Если прохождение ограничено по к‑ву попыток/времени. У большинства айтишников есть всякие синдромы самозванца. Если кто‑то из‑за стресса не сможет успешно пройти тест, то ему пол года‑год сидеть без работы? Фактор стресса очень сильно влияет, когда человек на значительный период жизни может потерять возможность себя прокормить. Зачем тогда ему начинать эту заведомо проигрышную игру?

А дать бесконечные попытки мы не можем, тогда скомпрометируется сам тест.

Прохождение теста на 2+ часа за бесплатно — гарантированно помойное отношение к сотруднику. Здесь как и с тестовыми. Компания не тратит ресурсы вообще — ни копейки, а кандидат платит своим временем и силами.

Пример из жизни: Когда я искал первую работу, сделал 5 тестовых или около того — получил 1 внятный фидбэк. Остальные забили на хотя‑бы минимальное обоснование кроме «норм/не норм», даже несмотря на пинги. И правильно сделали, потому что тот, кто не уважает свое время,‑ не достоин уважения со стороны других людей.

Проблемы экономические

Как и с маркетплейсом. Ты дашь товар клиенту, клиент выгоду видит. В нашем случае — нет затрат на найм. А продавец(в нашем случае-гребец) какую выгоду получит?

Чтобы мы смогли продать нашу систему клиенту, он должен быть уверен, что пройти его могут только реально самые‑самые умные.

Раз мы не можем оценить личностные качества, в руках у нас только тест — он должен быть банально очень сложный, пройти его могут единицы ЗАТО КАКИЕ ЕДИНИЦЫ. Но не все так просто, продавец тоже должен нам поверить

Сомнительная объективность грейда. Сейчас есть собеседования в яндекс/FAANG/… — они очевидно переусложнены, в них нет цели найти конкретного спеца в конкретную команду. Они отметают ежедневно сотни(мб тысячи) хороших профессионалов, т.к. в их бизнес задумке упустить сотню хороших спецов выгоднее, чем нанять 1 плохого(ну по легенде). На деле же например Яндекс пользуется этим процессом, чтобы обосновать, почему человек недостаточно хорош и вместо 300к/наносек должен получать ветку за свою работу, таким образом они намеренно занижают грейд при оценке, чтобы сэкономить на ФОТе.

Какая гарантия, что система, которой будет платить этот же условный Яндекс — не будет делать то же самое? Никакой. Более того можно быть уверенными, что компания именно этим и будет заниматься, т.к. работает в интересах клиентов.

И т.к. система оценки работает в интересах клиентов, то занизить грейд будет сродни ложно отрицательным результатам — более предпочтительным для самой системы, а значит любой уважающий себя синьер такое проходить не станет, а это в свою очередь уменьшает выборку людей проходящих собес, что имеет 3 последствия:

• Либо вы корректируете оценки, чтобы люди могли пройти тест, а компании нанять хоть кого‑нибудь(у нас же дефицит кадров все‑таки). Это приведет к снижению «качества» ваших айтишников, что подорвет базу «доверия» и приведет к возврату к нормальному процессу отбора.

• Либо вы оставляете сложность что приведет к ситуации, где «джуны»(мб стажеры даже) заучат процесс прохождения и имея положительные оценки грейдов — получат работу и успешно ее завалят, что приведет также к доп. собеседованиям от компаний, а значит будет вопрос целесообразности платить вам.

• Либо вы снова повышаете сложность теста и уровень проверки прохождения(записи экранов/глаз/…), в итоге все кто хоть немного уважают себя — не согласятся на это. И вы принесете 0 клиентов, что вынудит компании начать поиск своими силами, а по итогу от вас отказаться.

т. е. на дистанции у нас либо система, выдающая нерелевантные резульататы, требующие прохождения тех. собесов(тогда зачем она нужна), либо сделаем «Яндекс собес 2.0», в котором толпа рекрутерок сутками спамит всем людям на рынке с предложением пройти их собесик и кидает «подготовительные материалы», потому что без специфической подготовки пройти его нельзя.

Короче, зачем такие проблемы найма кому-то на рынке кроме Яндекса — сложно сказать. А с учётом того, что Яндекс сами не в восторге от своего подхода — вдвойне(иначе они бы не выдумывали one-day-offer и спамеров вакансий).

Итого, сейчас на рынке пытаются изобрести новый «диплом о высшем образовании», который если есть, то норм. А если нет, то и ладно.