Композитная метрика оценки эффективности обучения

В банковском секторе (и нетолько) эффективность — понятие относительное.
Какие метрики выбрать? На что ориентироваться?

Зачастую корпоративные университеты представляют результаты обучения в виде сухого показателя обученности или, в лучшем случае, оптимистичного NPS. Сами по себе эти показатели не плохи и не хороши, но при виде их бизнес‑заказчик, как правило, выражает скепсис, и после непродолжительной паузы в переговорной нависает вопрос:
«А действительно ли обучение что‑то решает?»

В данной статье я покажу на примере, как измерять эффективность корпоративного обучения, чтобы объективно оценивать его влияние на бизнес‑результат и справедливо судить о целесообразности инвестиций в развитие сотрудников.

Метрики эффективности обучения зависят от целей компании

Закона Гудхарта гласит:
«Если мера становится целью, она перестаёт быть хорошей мерой»

Если у вас есть сложности с оценкой эффективности чего-либо, первое, что вам необходимо принять — это то, что скорее всего вам не хватает не математического выражения той или иной метрики, а концепции и понимания того, что эта метрика должна выражать.

Постарайтесь посмотреть на проблему чуть шире и задайтесь вопросом «Зачем?»

• Зачем мы проводим обучение?

• Какую проблему оно решает?

• Действительно ли оно её решает?

• Как мы понимаем, что оно её решает?

• Действительно ли это то решение, которое помогает приносит деньги компании?

Эффективность — это не одна метрика, а целая группа метрик.
Чтобы понять насколько обучение эффективно, нужно понять, как оно встраивается в глобальную бизнес-стратегию. Поэтому на эффективность необходимо смотреть комплексно, вылавливая баланс между показателями «скорости», «цены» и «качества».
Вместе они формируют полную картину, по отдельности — не говорят ни о чём.

Анекдот:
Рекламный баннер строительной фирмы
«Работу выполняем быстро, качественно, недорого»*
*При заказе выберите 2 условия

Основные метрики корпоративного обучения

На самом деле на разных стадиях жизни компании, на первый план по очереди могут выходить сначала одни метрики, потом другие и наконец третьи. Поэтому иногда при принятии решений достаточно ограничиться всего лишь одной из групп. Но чем больше показателей попадают в ваше поле зрения, чем больше параметров вы находите иллюстративными в ходе реализации бизнес-стратегии, тем проще прийти к заветной цели: комплексной оценке эффективности обучения.

Вот примеры задач, которые могут решаться без композитной формулы:

• Если вам срочно нужно разгрузить операционные подразделения от нагрузки в виде подготовки большого потока новичков — ориентируйтесь на метрики производительности (Сколько обучение может пропустить через себя, как конвейер? Каков охват? Каков отток?), — используйте метрики вроде конверсии в завершённый план обучения, среднее время прохождения плана или успеваемости обучающихся.

• Если вы выходите с обучением на внешний рынок и хотите посмотреть на обучение как на продукт — применяйте продуктовые метрики, вроде вовлечённости, рейтингов курсов или NPS. Если вам важна не только «обёртка», но и «начинка» — посмотрите на качество разработки и поведенческие индикаторы, о которых писали Б.Блум и Д.Киркпатрик. (Насколько ваше обучение практикоориентированно и способствует изменению в поведении сотрудников?)

• Только после этого получится перейти к финансовой стороне вопроса и проверить насколько изменение поведения участников оправдывает затраты на разработку и проведение программ, как обучение влияет на бизнес-результат и, соответственно, насколько инвестиции в обучения себя оправдывают.

  ! Если сотрудники после обучения не применяют то, чему они обучались, нужно работать с качеством обучения, а не его рентабельностью.

Основные тезисы:

Первое. Эффективность — это относительное понятие и композитная метрика. Она расположена на стыке «Производительности», «Качества» и «Стоимости обучения»

Второе. Чтобы посчитать эффективность обучения, сначала необходимо определиться, что эффективность концептуально значит для вашей компании.
Какую функцию выполняет обучение и как оно помогает в достижении её бизнес-целей.

---

Как посчитать эффективность обучения?

Ответ напрашивается сам собой. Для начала необходимо научиться рассчитывать индекс по каждой группе метрик отдельно и только потом объединять эти показатели в единую формулу. Этот способ сейчас и разберём.

Пойдём от самого простого. На примере метрики производительности рассчитаем
Индекс производительности обучения или LPI (Learning Performance Index).
Какие показатели в конечном счёте в него войдут и будут учитываться — на самом деле решать вам, мы же разберём сам принцип и для примера допустим, что в вашей организации актуальны следующие показатели:

Обученность (Completion Rate) — доля сотрудников, завершивших обучение

CR = (Количество завершивших обучение) / (Общее количество начавших обучение) × 100%

Прохождение плана в срок (On-Time Completion Rate) — доля сотрудников, завершивших обучение в установленный срок

OTCR = (Количество завершивших обучение в срок) / (Общее количество завершивших обучение) × 100%

Завершение на максимальный балл (Perfect Completion Rate) — доля сотрудников, завершивших обучение на максимальный балл

PCR = (Количество завершивших с максимальным баллом) / (Общее количество завершивших обучение в срок) × 100%

И вот перед вами встала задача: рассчитать производительность учебного трека, в который зашли 100 человек, 70 из которых завершили обучение в срок, а максимальный балл набрали 50 из последних.

Формула индекса производительности данного трека будет выглядеть так:

Она объединяет и учитывает ранее заявленные метрики в некоторой пропорции (веса):

*Сумма весов всегда должна ровняться 1. Вес каждого показателя определяется отдельно исходя из фокусов внимания компании: что для неё важнее в конкретный момент: завершённость, сроки обучения или максимальный балл.
Значения весов в таблице носят иллюстративный характер.

Подставим значения в формулу

Ответ: индекс производительности равен 80,6%

Аналогичный подсчёт можно произвести и по другим группам метрик («Качество» и «Стоимость») и тогда останется лишь объединить показатели единой формуле эффективности, указывая веса уже и для других групп метрик.

---

Итоговая формула оценки эффективности:

Эффективность обучения = (% Производ x вес Производа) + (% Качество x вес Качества) + (% Стоимость x вес Стоимости) x 100

Как видите формула эффективности очень проста, но её наполнение зависит от задач, которые компания ставит перед обучением:

• Обучать массово?

• Обучать качественно?

• Обучать дёшево?

Можете не выбирать 2 условия, а всего лишь подобрать веса таким образом, чтобы баланс между группами метрик устраивал и вас, и других стейкхолдеров.

Вот ещё примеры метрик, которые можно использовать для подсчёта индексов групп «Производительности», «Качества» и «Стоимости обучения»

Главное:

Выбор метрик и их весов — это не техническая, а стратегическая задача, которую нужно обсуждать с бизнесом и HR. Только так индекс эффективности обучения может стать инструментом принятия решений и управления бизнес-результатом.

---

И напоследок…

Практические шаги подсчёта эффективности обучения:

1. Определите цели обучения (структуры, трека или отдельной программы);

2. Подберите под эти цели метрики внутри каждой из групп, производите подсчёт;

3. Присвойте веса каждому показателю, подсчитайте взвешенный индекс по группам «Производительность», «Качество», «Стоимость»;

4. Присвойте веса каждой группе индексов, чтобы рассчитать итоговую эффективность;

5. Определите период замера (неделя/месяц/квартал/год) и отслеживайте динамику;

6. Пересматривайте веса и метрики по мере смены фокуса компании.

Помните, что метрики лишь освещают дорогу на пути к цели, но не являются целью <3