Оценка эффективности обучения или «Не сажайте Шарикова на reception!»

06.06.2018

Дмитрий Иванов, тренер-консультант Ars Vitae
6 августа 2007 г.

Работу любого среднестатистического руководителя можно формально представить схемой цикла менеджмента, который состоит из следующих элементов:

  • анализ и планирование
  • организация
  • руководство
  • обучение
  • мотивация
  • контроль и оценка

Все элементы данного цикла одинаково важны для успешного достижения целей организации. В данной статье хотелось бы поговорить об этапе обучения персонала и, прежде всего о том, как оценить результативность и эффективность данного процесса.

Для того чтобы обеспечить максимальную прозрачность и наглядность обсуждения, мы решили воспользоваться методом, который успешно применяется, например, в теоретической физике — методом мысленного эксперимента. Этот прием использует, в частности, Альберт Эйнштейн при изложении постулатов Специальной теории относительности (1905 г.)

Конечно, мы понимаем, что за прошедшие 100 с лишним лет, благодаря усилиям маркетологов и масс-медиа, люди практически разучились мыслить самостоятельно и абстрактно. Мы получаем готовые формулы решений по всем потенциально-возможным вопросам с экранов телевизоров, в формате тридцатисекундного клипа. Наши мысли привычно бегут по невидимым рельсам, заботливо проложенным для нас квалифицированными специалистами по манипуляции общественным сознанием.

Мы все это понимаем.

Учитывая данные печальные обстоятельства, предлагаем максимально упростить наш мысленный эксперимент. Следуя в русле традиций века 21-го, возьмем уже готовый и хорошо известный сюжет — «Собачье сердце» Михаила Булгакова. Есть замечательный фильм по этому произведению (с аналогичным названием:). Он, конечно, заметно длиннее тридцатисекундного ролика, но для иллюстрации к нашему эксперименту вовсе не обязательно просматривать весь фильм. Достаточно просто вспомнить, о чем там речь. Тем из наших читателей, кому эта операция покажется сложной, кратко сообщаем фабулу: талантливый хирург, профессор Преображенский, делает собаке по кличке Шарик операцию. В результате операции Шарик превращается в человека и выбирает себе имя — Полиграф Полиграфыч Шариков... Этой информации вполне достаточно:).

Итак, в нашем гипотетическом эксперименте участвуют:

  • Профессор Ф. Ф. Преображенский — руководитель (Генеральный директор, владелец)
  • Доктор Борменталь — HR-менеджер, он же «внутренний» тренер
  • Шариков Полиграф Полиграфыч — сотрудник

Давайте предположим, что, получив в результате своего эксперимента очеловечившегося Шарика, Филипп Филиппыч решает «сделать его приемлемым членом человеческого сообщества». Во время одного из обедов, профессор Преображенский произносит именно эту фразу, так что пока мы даже не выходим за рамки сюжета.

Предположим далее, что Филипп Филиппыч разделяет точку зрения К. Маркса о том, что «Труд является одним из факторов, способствующих превращению обезьяны в человека».

В какой полезной деятельности можно было бы задействовать Шарикова?

Постановка цели

Профессор занимается частной практикой, так что самый простой вариант — посадить Шарикова в приемной в качестве секретаря. Пусть отвечает на телефонные звонки («Квартира профессора Преображенского, добрый день...»), заполняет карты больных, планирует и оптимизирует график визитов и т. д.

Занимаясь общественно полезным трудом, Шариков, возможно, быстрее разовьется в социально-зрелую личность. Это — с одной стороны. С другой стороны, т. к. на данный момент в структуре частного бизнеса профессора такого специалиста нет, можно ожидать, что введение позиции секретаря приведет к улучшению качества обслуживания клиентов.

Таким образом, модифицированная цель профессора Преображенского (как руководителя бизнеса) выглядит так: «Улучшить качество обслуживания клиентов путем введения в структуру позиции секретаря — Шарикова П. П.».

Понятно, что прежде чем Шариков сможет что-нибудь улучшить, его нужно обучить.

Цели обучения могут формулироваться, например, следующим образом:

— передать знания

— сформировать/отработать навыки

— мотивировать

— сплотить команду

— увеличить оборот/прибыль

— улучшить качество обслуживания клиентов

Достижение цели

На данном этапе в игру вступает доктор Борменталь. Его задачи:

  • передать знания
  • сформировать/отработать навыки
  • мотивировать сотрудника на выполнение работы

Когда мы горим о мотивации, имеем в виду только формирование первоначального импульса. Поддержание и усиление мотивации в процессе работы — это уже задача руководителя (профессора Преображенского).

Для того чтобы получить бонус в конце месяца, Борменталю нужно продемонстрировать, что процесс обучения удовлетворяет двум критериям:

  • результативность
  • эффективность

Результативность — выполнение поставленных целей: успешное обучение Шарикова, формирование у него знаний и навыков, необходимых для выполнения работы секретаря.

Если доктор Борменталь не отвечает за бюджет организации, то результативности для него будет вполне достаточно. Но профессору Преображенскому (как Генеральному директору и владельцу) важен не только результат, но и оптимизация средств, затраченных на получение данного результата. Филипп Филиппычу важна еще и эффективность процесса обучения, которая определяется соотношением затрат и полученного результата. С этой точки зрения тренинг может быть результативным, но не эффективным. В этом случае цели обучения достигнуты, но затраты на проведение обучения превышают экономический эффект от применения сотрудником полученных знаний и навыков.

Каким же образом профессору Преображенскому и доктору Борменталю провести оценку эффективности?

Одна из возможных схем была предложена Дональдом Киркпатриком в 1959 г.

В соответствии с данной схемой существует 4 уровня оценки:

  • Реакция — какова реакция самого обучаемого на процесс обучения
  • Обучение — что усвоил обучаемый
  • Поведение — как сильно изменилось поведение обучаемого после прохождения обучения. Начал ли сотрудник применять полученные знания и навыки на рабочем месте
  • Результат — насколько увеличилась эффективность работы компании вследствие прохождения сотрудником обучения

В 1991 году Джек Филипс (Jack Phillips) предложил добавить в систему Киркпатрика еще один уровень — ROI (Return on investments, возврат на инвестиции). Как следует из названия, данный уровень показывает соотношение между увеличением прибыли компании и затратами на обучение. Данная система оценки эффективности называется ROI Methodology. Для руководителей и акционеров такой подход, безусловно, является привлекательным. Но противники данной модели указывают на то, что выделение влияния обучения на бизнес-показатели из множества других факторов весьма проблематично.

(На самом деле, разумеется, существуют и другие схемы оценки эффективности обучения. Познакомиться с ними можно, например, здесь: http://www.trainings.ru/library/articles/?id=6328)

Возвращаясь к нашему мысленному эксперименту, рассмотрим модели Киркпатрика/Филипса и выясним, как и на каких уровнях мы сможем оценить эффективность процесса обучения.

1. Реакция

На данном уровне доктор Борменталь должен получить от Шарикова обратную связь:

— насколько полезным было обучение

— какие навыки Шариков планирует применять в работе

— хочет ли он продолжать обучение

— как Шариков оценивает атмосферу во время обучения

— что думает по поводу содержания тренинга

— как оценивает учебные материалы

— какое впечатление произвела на него работа тренера

— что понравилось/запомнилось

— что можно улучшить

Конечно, вся эта информация — субъективная. Если Шариков по всем пунктам поставит высокие оценки, отсюда вовсе не следует, что он хоть чему-то научился, и, тем более не следует, что он будет применять полученные знания/навыки в работе. Но позитивные оценки очень важны с точки зрения мотивации Шарикова к работе. А его комментарии помогут Борменталю оптимизировать форму и содержание тренинга.

И получение данных, и их интерпретация на данном этапе сложностей не представляют.

2. Обучение

Как узнать, что все-таки усвоил Полиграф Полиграфыч?

Для этого доктор Борменталь может использовать следующие инструменты:

— финальные упражнения (ролевые игры)

— тестирование

— интервью

Интервью можно проводить, например, по методике STAR:

  • Situation — предлагаем Шарикову описание ситуации, в которой можно увидеть применение (или отсутствие применения:) проверяемых навыков
  • Target — формулируем цель: что ему нужно сделать в данной ситуации
  • Actions — Шариков рассказывает, а еще лучше показывает, что и как он будет делать
  • Results — анализируем результаты, выясняем, какие навыки были задействованы в решении проблемы

Если бы Шариков не был в недавнем прошлом собакой, у него вполне мог бы быть опыт трудовой деятельности. И, как следствие этого опыта, какие-то знания и навыки могли у него сформироваться еще до тренинга. Для устранения погрешностей такого типа Борменталю нужно провести две процедуры контроля: одну до тренинга, другую — после. Сравнив полученные результаты, доктор сможет оценить успешность обучения. Таким образом, определение эффективности на уровне обучения принципиальных сложностей не представляет.

3. Поведение

Эффективность на данном уровне является одной из важнейших составляющих успешности обучения в целом. Ведь профессору Преображенскому важно не просто научить Шарикова установливать контакт с клиентом, транслировать желаемый имидж и управлять атмосферой переговоров. Ему важно, чтобы все эти навыки Шариков обязательно начал использовать в своей работе. Профессору важно изменение на уровне поведения.

Зафиксировать данные изменения несложно — нужно просто понаблюдать за работой Шарикова. Это уже задача Филип Филиппыча, как непосредственного руководителя.

4. Результат

Вот мы и добрались, наконец, до уровня, от успешности которого зависит, удалось ли доктору Борменталю выполнить задачу, которую перед ним поставил бизнес: «Улучшить качество обслуживания клиентов путем введения в структуру позиции секретаря — Шарикова П. П.»

Казалось бы, достаточно просто зафиксировать «улучшение качества обслуживания». Для этого можно использовать, например, анкетирование клиентов, мониторинг размера очереди в приемной, определение средней продолжительности времени ожидания для клиента и т. д. Доктор Борменталь сможет предоставить профессору Преображенскому конкретные данные по ключевым параметрам работы (KPI) Шарикова, подтверждающие «улучшение качества обслуживания» в формате «было до... / стало после...»:

  • количество клиентов, полностью удовлетворенных обслуживанием
  • размер очереди
  • средняя продолжительности времени ожидания
  • ...

Все эти показатели действительно продемонстрируют «улучшение качества обслуживания». В улучшении каждого из показателей, безусловно, будет немалый вклад Шарикова (если конечно, ему удастся успешно освоить нелегкую профессию секретаря). Вопрос лишь в том, как Борменталю отделить личный вклад «Шарикова после обучения» от некоторого количества посторонних факторов, так же влияющих на KPI:

  • настроение клиентов
  • погода
  • наличие/отсутствие «пробок» на улицах Москвы
  • настроение самого Шарикова
  • проблемы в его (Шарикова) личной жизни
  • ...

И это еще не все.

Предположим теперь, что господин Шариков через какое-то время решит продолжить развитие своей карьеры, скажем, в компании FMCG. Если он успешно пройдет все этапы отбора и займет позицию, например, торгового представителя, то через какое-то время тренинг-центр компании пригласит нового сотрудника на обучение. Неважно, что формулировка целей обучения изменится. Важно другое — при оценке эффективности обучения на уровне «Результат» мы снова столкнемся с факторами, негативно влияющими на корректность решения вопроса: «А на сколько же улучшились бизнес-показатели компании в результате обучения господина Шарикова?» В этом случае к погрешностям, перечисленным выше, добавятся следующие:

  • сезонность
  • выпуск новых продуктов
  • проведение промо-акций
  • развитие текущих клиентов
  • появление новых клиентов
  • ...

Итак, существует определенное количество параметров, не связанных с обучением, которые влияют на KPI сотрудников и на эффективность работы компании.

В общем случае, нейтрализовать влияние подобных факторов можно, наблюдая не только за Шариковым, но и за контрольной группой сотрудников, которые не проходили обучение. Теоретически, данный подход будет работать. На практике, однако, доктор Борменталь столкнется с двумя сложностями:

  • большой объем информации, которую нужно проанализировать
  • субъективизм в интерпретации результатов

Борменталю придется на какое-то время либо полностью забросить занятия медициной, либо взять ассистента, который будет разбираться с результатами работы Шарикова и контрольной группы до и после обучения, сезонностью, промо-акциями и т. д. Причем, как вы понимаете, вопрос субъективизма в интерпретации результатов по-прежнему остается. А следствием субъективизма будет вопрос о валидности результатов. Т. е. действительно ли удалось измерить «чистый» личный вклад «обученного» Шарикова в увеличение прибыли компании.

5. ROI

Если доктор Борменталь сможет убедить Филипп Филиппыча, что ему и ассистенту удалось корректно отделить прибыль компании, полученную именно в результате обучения Шарикова, от всех остальных составляющих прибыли, то определение эффективности на уровне ROI затруднений не вызовет. Затраты на обучение — величина известная. Конечно, к ним еще нужно добавить «недополученную прибыль» за то время, когда Шариков, вместо того, чтобы работать, проходил обучение. А дальше все просто — отношение прибыли к затратам и есть ROI. Проблема, опять же, только в валидности полученного результата (т. к. ненадежны результаты предыдущего уровня)

Если сформулировать все, что мы сказали об оценке эффективности обучения, коротко и ясно, получится следующее:

1. Модель Киркпатрика/Филипса позволяет оценить эффективность на уровнях:

  • реакция
  • обучение
  • поведение

2. Модель Киркпатрика/Филипса теоретически позволяет оценить эффективность на уровнях:

  • результат
  • ROI

Но получение валидных результатов на практике представляется сомнительным.

Если доктор Борменталь, вместо того, чтобы работать честно, играет в игру «Посмотрите, какой я молодец», модель Киркпатрика/Филипса подходит идеально:

  • простой и понятный алгоритм
  • оценка соотношения затраты/результат
  • однозначный ответ, опирающийся на математические выкладки

(Подробное описание и анализ игры выходят далеко за рамки данной статьи, поэтому любопытных читателей мы с Борменталем отправляем к книге Эрика Берна «Игры, в которые играют люди». Правда, там нет игры с аналогичным названием (это наш copyright:) но, усвоив алгоритм на примере игр, описанных Берном, вы легко справитесь с самостоятельным разбором данного варианта).

В заключение, остановимся еще на одном параметре, оказывающем влияние на эффективность обучения. Этот параметр — сам обучаемый. Программа тренинга, эффективная для одного сотрудника, может быть абсолютно неэффективна для другого. В своей замечательной книге «Now, discover your strengths» Маркус Бакингэм (Marcus Buckingham) выделяет три фактора, благодаря наличию которых человек действует максимально успешно и результативно:

  • талант
  • знания
  • навыки

Задача руководителя — подобрать таких сотрудников, у которых присутствуют все три фактора для данной области деятельности. И еще: иерархия ценностей каждого конкретного сотрудника должна соответствовать иерархии ценностей, принятой в компании. Таких сотрудников мы предлагаем называть «правильными».

Качественное обучение обеспечивает передачу знаний и формирование навыков. Для того, чтобы качественное обучение превратился в эффективное, нужно чтобы еще на этапе формирования команды мы набрали в нее «правильных» людей.

«Филипп Филиппыч!

Не сажайте Шарикова на reception!»