Как оценить эффективность обучения?

На бизнес-метрики может влиять множество факторов. Как убрать влияние прочих факторов, чтобы оценить непосредственный эффект от обучения?

В прошлой статье «Как оценить изменения HR-показателей?» мы разбирали пример оценки эффективности обучения всех секретарей при отсутствии прочих факторов, влияющих на скорость печати.

В этой статье мы разберем на примере, как измерить результаты, если вы обучили часть сотрудников, и в процессе обучения установили эргономичные клавиатуры, которые также могли повлиять на скорость печати.

Для начала необходимо составить перечень требований к обучению по каждому уровню модели Киркпатрика. Я подробно рассказывала об этой модели в статье «HR-метрики в обучении. Часть 2».

В результате мы определяем бизнес-метрики, которые покажут прогресс обучения. В нашем примере этими метриками будут скорость печати и количество ошибок при наборе. Для простоты понимания мы проанализируем только скорость печати.

Существует 2 способа оценить эффективность обучения:

1) Метод парных выборок сравнивает бизнес-метрики «До» и «После» обучения по каждому сотруднику (подробно описан в статье «Как оценить изменения HR-показателей?»). Он применяется при отсутствии влияния других, кроме обучения, факторов на изменение бизнес-метрик. В случае обучения секретарей методу слепой печати данный метод не подойдет из-за возможного влияния эргономичной клавиатуры.

2) Метод экспериментальных и контрольных групп обычно используют в медицине, но в управлении персоналом тоже будет эффективным.

Как применять метод экспериментальных и контрольных групп?

Проведем претест скорости печати всех секретарей компании и запишем результаты в таблицу.

Разделим сотрудников на две группы: в экспериментальную группу (далее - Группа 1) войдут секретари, которых мы отправим на обучение, а в контрольную группу (далее - Группа 2) войдут сотрудники, которые обучаться не будут.

Численность групп может быть неравной. Группа 1 и Группа 2 должны формироваться таким образом, чтобы различия в скорости печати в них были минимальными.

Медиана скорости Группы 1 – 193 символа в минуту, а медиана скорости Группы 2 – 196 символов в минуту.

После этого проводим обучение методу слепой печати Группы 1 и повторно замерим скорости печати для обеих групп. Результаты вносим в таблицу.

Если изменения скорости печати в Группе 1 статистически значимо отличаются от результатов Группы 2, делаем вывод, что обучение повлияло на результаты.

Для оценки статистической значимости (то есть определения, насколько полученные результаты являются результатом обучения, а не погрешностью) нам понадобится знание статистических критериев. Данные критерии мы подробно разбираем в курсе «HR-статистика».

В итоге мы получим такую диаграмму.

В примере разберем базовый уровень оценки статистической значимости и сравним распределение показателей по группам с помощью «Ящика с усами». Этот вид диаграммы мы разбирали в статье «Как оценить изменения HR-показателей?».

Анализ эффективности обучения с помощью диаграммы «Ящик с усами»

Мы видим, что зеленый и фиолетовый «Ящики» Группы 1 не перекрывают друг друга, то есть первый квартиль зеленого «Ящика» Группы 1 находится выше третьего квартиля фиолетового «Ящика» Группы 1. Мы делаем вывод, что результаты Группы 1 после обучения существенно выросли.

При этом медиана и третий квартиль зеленого «Ящика» Группы 2 выросли незначительно относительно фиолетового. Считаем медиану изменений результатов претеста и теста Группы 2. Получаем 4%. Так как Группа 2 не обучалась, но эргономичные клавиатуры были установлены всем секретарям, мы можем сделать второй вывод, что использование клавиатур увеличило скорость печати Группы 2 в среднем на 4%, что является незначительным ростом показателя.

Возможно, затраты на приобретение клавиатур были неэффективны, но для точной проверки данной гипотезы требуется изучение дополнительных факторов, например: количество ошибок при печати или утомляемость запястья при печати.

Считаем медиану изменений результатов претеста и теста Группы 1. Получаем 31%. Делаем вывод, что обучение методу слепой печати увеличивает скорость в среднем на 31% плюс-минус погрешность. Так как медиана изменений результатов претеста и теста Группы 2 составляет лишь 4% (влияние эргономичной клавиатуры), мы можем сделать вывод об эффективности обучения методу слепой печати.

Для проверки устойчивости результатов требуется измерить показатели в обеих группах через месяц после обучения Группы 1 и сравнить результаты.

Мы проанализировали показатель «скорость печати». В рабочей ситуации после этого нам нужно было бы проанализировать таким же способом показатель «количество ошибок при печати».

Алгоритм работы с экспериментальными и контрольными группами

Алгоритм анализа эффективности процесса обучения

1. Определяем требования к обучению по модели Киркпатрика
2. Проводим претест - замеряем бизнес-метрики до тренинга по всем сотрудникам
3. Формируем экспериментальную и контрольную группы
4. Проводим обучение для экспериментальной группы. Контрольную группу не обучаем
5. Замеряем бизнес-метрики сразу после тренинга в экспериментальной и контрольной группах
6. Строим диаграмму «Ящик с усами»
7. Проверяем статистическую значимость изменений бизнес-метрик в экспериментальной и контрольной группах
8. Анализируем результаты, делаем выводы, насколько существенны изменения после обучения
9. Замеряем бизнес-метрики через месяц, чтобы новый навык выработался, вошел в привычку, проверяем устойчивость результатов обучения в экспериментальной и контрольной группах
10. Анализируем результаты, делаем выводы, насколько устойчивы изменения после обучения
11. Принимаем решение о распространении обучения на всех целевых сотрудников компании.

Области применения метода экспериментальных и контрольных групп в компании

Данный способ измерения эффективности может работать и в других HR-направлениях, кроме обучения.

Так, например, можно проверять эффективность системы мотивации персонала, бонусных программ, различных льгот и бенефитов, программ адаптации, диджитал-инструментов и платформ, удаленной или сокращенной работы.

Хочу обратить внимание, что организация экспериментальных и контрольных групп требует знаний и компетенций, например:

- как отбирать сотрудников в экспериментальную и контрольную группы
- как управлять их ожиданиями
- как разработать коммуникацию для сотрудников обеих групп
- как рассчитать бюджет на проведение подобного исследования.

Если вы хотите научиться анализировать эффективность HR-процессов с помощью статистических методов анализа данных, приглашаем вас на онлайн-курс «HR-статистика».

Читать другие статьи автора