Как измерить эффективность системы обучения

Эффективное управление в наши дни невозможно представить без использования данных. Не зная, что происходит в результате тех или иных действий, нельзя не только определить дальнейшую стратегию и тактику, но даже принять операционные решения.

Традиционный подход к оценке эффективности обучения, который, впрочем, довольно редко встречается в реальности, основан на оценке того, как новые знания сотрудников и их поведение повлияли на бизнес. В первую очередь, в этом случае интересует увеличение вклада людей в деятельность компании и возврат инвестиций в их развитие.

Однако отделить эффект от обучения от других составляющих – эффективного подбора уже обученных сотрудников, правильного назначения на должность, внедрения современного оборудования, выстроенных процессов – практически невозможно. Даже оценка знаний и поведения сотрудников до и после обучения не даст вам полной картины.

Чтобы получить ясную картинку эффективности системы обучения, нужно взглянуть на то, чем она занимается:

И процессы, и проекты, и продукты направлены на развитие сотрудников, но процессные, проектные и продуктовые метрики нельзя привести к одному знаменателю. Более того, в разных системах обучения у этих метрик будет разная значимость!

Рассмотрим типичную метрику эффективности обучения – затраты на одного обученного. Она показывает, как соотнести финансирование системы обучения с численностью обучающихся.

Представьте себе крупный корпоративный учебный центр при металлургическом заводе, расположенном вдали от столичных регионов. Обучение в нем проходят тысячи потенциальных и действующих сотрудников, которым нужен допуск по квалификации, чтобы приступить к работе. Программа известна, нормы совершенствуются с советских времен, регулярно приобретается новое оборудование. И здесь важно, чтобы затраты на обучение соответствовали тому потоку людей, для которых это обучение проводится.

А теперь мы с вами перенесемся в столицу. Сетевая торговая компания внедряет для адаптации сотрудников чат-бот. Его разработка для компании имела определенную стоимость, но первый год внедрения был проблемным из-за пандемии: внедрение приостановилось, так как в компанию пришло мало новых сотрудников. Затраты на одного обученного оказались слишком велики. Но так ли уж плох новый образовательный продукт? Ведь он позволит с минимальными затратами на его доработку обучить новых сотрудников в следующие годы, а сам подход можно тиражировать на другие сферы или даже сформировать продукт для внешнего рынка.

Другая широко распространенная метрика – Сompletion Rate (COR), или показатель доходимости, отражающий долю тех, кто завершил обучающий курс. COR говорит о запросах обучаемого. Но какие результаты всей системы обучения эта метрика демонстрирует?

В учебном центре, который готовит рядовых сотрудников к старту работы, COR преимущественно покажет, соответствует ли транслируемый образ компании реальному положению вещей, и насколько эффективна система подбора, то есть сколько новичков отказались от работы, сколько были допущены к обучению, но не смогли его завершить. Обучение отказавшегося от работы будет считаться неэффективным. Но есть ли в этом вина самой системы обучения и ее руководителей?

В рамках программ корпоративных курсов по подтверждению и повышению квалификации COR покажет совсем другое. Участник курса мотивирован к тому, чтобы сохранить или повысить свой доход. Что может заставить его бросить обучение? Анализ совокупности результатов по этому показателю поможет выявить причину. Для этого следует понять:

Истинное значение показателя определяется условиями, в которых применяется, а также факторами, которые влияют на обучающегося, и бенчмарком.

Обучение как процесс направлено на то, чтобы персонал выполнял работы и достигал результатов согласно комплексу устоявшихся внешних и внутренних требований. Речь идет о необходимом уровне знаний и навыков для допуска к тем или иным работам, соответствии модели компетенций и государственной программе. При этом ожидается, что и сама система обучения должна соответствовать требованиям к процессу и результатам, государственным или принятым в компании стандартам обучения, и при этом эффективно использовать ресурсы – время, место, финансы. Сложно оценить непосредственное влияние процессной системы обучения на результаты компании и даже подразделений: без нее они бы не функционировали, но только к обучению результат свести нельзя.

Затраты на обучение как на процесс можно сравнить – это операционные затраты. Они не оказывают влияния на качественный рост прибыли компании, а обеспечивают ее стабильность. Поэтому самое важное здесь – удерживать показатели по затратам в плановых границах и соотносить их с планами по объемам обучения, учитывая необходимое качество.

Операционные расходы как основной фокус измерения эффективности системы корпоративного обучения лучше всего подходят для стабильных направлений, где требования к сотрудникам долгое время не меняются. Характерный пример – учебные центры для рабочих специальностей или массовых позиций. Поток обучающихся здесь ограничен устойчивыми потребностями, уровнем ротации и – для некоторых направлений опасных работ – общероссийскими требованиями по переаттестации. Ключевая задача для такой системы – давать стабильный результат.

При меньшей стабильности операционные затраты уходят на второй план. Если корпоративный университет каждый год вводит значительное число новых курсов, основная часть затрат будет инвестиционной, ее будет сложно разложить на отдельных обучающихся. При этом динамика операционных затрат на курсы, которым уже несколько лет, покажет, насколько хорошо система умеет использовать свои наработки.

Если основной способ обучения – цифровой (вебинары, электронные курсы, чат-боты), то процессные показатели для этой системы будут отражать коэффициент полезного действия поддерживающей инфраструктуры, что, безусловно, важно для передачи знаний, но не определяет ее.

Мир меняется, и компания адаптируется к новым вызовам, в том числе и через своих сотрудников. Обучение как проект направлено на реализацию этих изменений. Благодаря ему обновленные стратегические планы воплощаются в реальность. Система обучения выступает партнером, поддерживает инициатора-заказчика. Вместе с бизнес-функцией она планирует, отбирает и организовывает экспертов и методологов, пилотирует, корректирует и ведет проект от начала и до завершения. Партнерская позиция подразумевает, что система должна быстро реагировать на запрос и опираться на собственный подход к проектированию обучения вне зависимости от его содержания. Для оценки эффективности решения подобных задач нужны классические проектные метрики, отражающие способность планировать и следовать плану, рационально оценивать перспективы реализации, гибко привлекать и высвобождать ресурсы.

Другой аспект эффективности в проектной составляющей системы обучения – более осязаемое влияние на бизнес-результат. При запуске проекта определяется его цель – сделать так, чтобы поведение сотрудников изменилось таким образом, чтобы улучшились результаты компании. Например, для улучшения восприятия компании клиентами можно разработать дополнительное обучение по клиенториентированности для тех сотрудников, которым существующий вариант курса показался неэффективным. И хотя будет сложно сказать, сколько непосредственно прибыли принесет компании такое обучение, оценить эффект можно будет с помощью нескольких простых экспериментов (AB-анализа):

Если первые показали более высокие результаты – проект оправдал ожидания. Следовательно, следующая остановка – внедрение нового подхода и превращение его в стандарт. Проект становится процессом, разработанные для него средства обучения – продуктом. А затраты на реализацию и поддержание переходят от бизнес-заказчика к системе обучения.

Ключевая ценность, которую приносят проекты корпоративной системы обучения, – внедрение нового. Поэтому эта составляющая и, соответственно, оценка ее эффективности – наиболее значима для компаний, находящихся в постоянном поиске новых подходов к своей деятельности (развитие отношений с клиентами, внедрение лучших практик, совершенствование лидерских компетенций). Чем выше изменчивость бизнес-среды и процессов, тем больше фокус на проектных показателях эффективности обучения.

Оценка обучения как продукта определяет, насколько хороши те средства обучения, которые используют сотрудники. Это может быть чат-бот в Telegram, видеокурс, база знаний или же рабочая тетрадь к курсу, классическое наглядное учебное пособие на стене в аудитории, а также эксперт, мотивационный спикер или рядовой преподаватель, которого выбирает корпоративный учебный центр для своих слушателей.

Почему рассматриваем средства обучения в рамках продуктового подхода? И электронные пособия, и методические материалы, и профессиональные навыки преподавателей нуждаются в регулярном совершенствовании. При первичном создании или закупке нового средства обучения в рамках проекта или при привлечении преподавателя компания вкладывает определенную сумму. Задача системы обучения не только поддерживать их востребованность, но и постоянно улучшать, повышая ценность для компании и пользователей:

И если при ведении процессной работы система обучения руководствуется существующими требованиями, а при внедрении новых идей и подходов в рамках проектов работает по прямому запросу совместно с бизнесом, то продуктовое развитие зависит только от нее самой. Для развития системе необходимо уметь собирать и анализировать результаты внутренней диагностики, аудитов, собирать обратную связь пользователей, аккумулировать лучшие практики внутри компании и на рынке, выдвигать гипотезы и проводить для них регулярные тесты.

Средства обучения как продукты используются в любой конфигурации системы. Контроль продуктовых показателей позволяет отследить момент, когда пользователь перестает воспринимать свое взаимодействие с системой или ее элементом как приятное и полезное и теряет мотивацию к использованию. Неиспользуемый инструмент – потеря вложенных в него средств.

В разных условиях востребованность инструментов поддерживается дополнительными факторами. При обучении для допуска к работам у рабочего нет выбора, идти на курс или нет, но если курс не соответствует существующим знаниям этого рабочего или его представлению о хорошем и правильном, то может вызвать отторжение и неосознаваемый отказ обучаться. Как результат – снижение вероятности успешного прохождения и падение эффективности обучения как процесса.

Преподаватель, который давно не получал развернутой обратной связи, не проходил обучение и мало контактировал с людьми за пределами учебного класса или интерфейса вебинара, с высокой вероятностью вызовет чувство недоверия у аудитории курса по лидерству. Как следствие, будущие руководители не верят в систему обучения своей компании.

Интерактивное учебное пособие, разработанное в 2017 году, в 2022-м может оказать забытым документом для галочки, и весь вложенный во все еще актуальный контент труд окажется потерян из-за устаревшего интерфейса, который можно было бы итерационно совершенствовать до соответствия современным стандартам.

В каждом случае эффект низкого качества продукта проявляется в разное время. В каждом случае чувствительность инструментов измерения разная. Чем более значимым является использование продукта для результатов обучения, тем чаще приходится измерять и корректировать его для достижения качества и тем больше внимания уделяется оценке качества сервиса среди остальных интегральных показателей эффективности управления системой обучения.

На каких метриках стоит сосредоточиться руководителю системы обучения и как определить целевые значения?

В идеале стоит сфокусироваться на всех трех интегральных показателях эффективности и учесть, что уровень погружения в конкретные метрики или вес показателей зависит от условий, текущей ситуации и окружения, а также стратегии компании в целом.

В процессном подходе к обучению метрики эффективности в первую очередь должны показывать экономичность процесса при сохранении качества. При появлении новых требований к сотрудникам система обучения вместе с бизнес-функцией разрабатывает подход к их реализации и, если этот подход оказывается успешным, создает новый стандарт обучения. И тогда эффективность отражают проектные метрики. Результативность средств обучения и привлекаемых преподавателей оценивается продуктовыми метриками.

Другими словами, процесс не изменяется без реализации проекта и теряет качество без постоянного совершенствования инструментов. Все три уровня (процессный, проектный и продуктовый) сосуществуют и не сводятся один к другому. Однако в разных условиях показатели эффективности по ним будут иметь разный вес для оценки системы обучения в целом.