Как измерить эффективность корпоративного обучения
Что это?
Completion rate (COR) – метод измерения эффективности образовательной программы. Его также называют метрикой доходимости, или показателем завершенности. COR-показатель демонстрирует процент завершивших обучение от числа тех, кто зарегистрировался на курс. Метод популярен, так как с его помощью легко получить объективный параметр, который позволит оценивать результативность образовательного процесса.
Другие метрики могут включать NPS или CSI курса, принимать во внимание успеваемость участников и количество успешно изменивших свою карьеру после обучения. Внутри курса легко измерить эффективность того или иного типа активности: сколько человек просмотрели видео, прочитали лонгриды, посетили вебинары, с какой скоростью они выполняли задания и тесты, как быстро тьюторы или эксперты давали обратную связь, сколько выпускников программы получили улучшение в профессиональной деятельности в результате пройденного обучения в связи с пройденным обучением или даже нашли новую работу и т. д. Так или иначе все известные метрики прямо или косвенно указывают на эффективность обучения для участника и, как правило, являются элементами системных моделей, таких как модели ROI Дональда Киркпатрика и Джека Филлипса, модель «12 шагов» Майкла Скривена, оценивающих уровни реакции, научения, результата.
Однако параметр COR остается одним из наиболее часто измеряемых для онлайн-курсов разного типа.
Как это работает?
Чтобы посчитать COR-показатель, определите число тех, кто успешно закончил обучение, и разделите его на число тех, кто начинал обучение. Умножив на 100, вы получите процентное соотношение. Чем выше COR, тем больше уверенности в том, что курс попадает в запрос аудитории.
COR для разных типов курсов и слушателей варьируется:
для обучающихся на дистанционных открытых курсах последние несколько лет этот показатель находился на уровне 3% (по некоторым данным он доходил до 13%)1;
для самостоятельно оплативших свое обучение слушателей показатель в среднем составляет около 45%2 ;
для обучающихся на курсах с сопровождением (тьюторинг, синхронные практикумы и др.) показатель может достигать 70-80% (таков, например, опыт курсов BITOBE и Nomadic).
Что влияет на COR?
Многие разработчики онлайн-курсов полагают, что COR указывает на качество курса. Такое мнение справедливо, но COR – не единственный параметр, который может объяснить поведение слушателей на курсе. Бывает, что слушатели, особенно на открытых курсах, приходят ради определенного фрагмента знаний и изначально не планируют проходить обучение целиком. Другая причина плохой «доходимости» – ошибки в выборе уровня сложности или направленности содержания, которые выявляются в процессе обучения.
Несмотря на то что разговоры о мотивации стали общим местом, не стоит недооценивать ее уровень на старте. Если курс не нужен или потерял актуальность, даже самое качественное исполнение, уникальный контент, продуманная структура и увлекательная геймификация не удержат слушателя. Другое дело, если изначально высокую мотивацию тихо «убивают» во время обучения.
Итак, на удержание слушателей на курсе влияют следующие параметры.
1
Правильно выстроенный мотивационный дизайн.
Модель самоуправляемого обучения (SSDL, staged self-directed learning) помогает выстроить структуру и форматы обучения таким образом, чтобы поддержать и максимизировать мотивацию слушателя по мере прохождения курса. Например, высокая определенность на старте обучения и задачи «от успеха» позволяют слушателю преодолеть первичную инерцию и увлечься процессом.
Метод популярен, так как с его помощью можно легко получить объективный параметр для оценки качества обучения.
Метод популярен, так как с его помощью можно легко получить объективный параметр для оценки качества обучения.
Модель SSDL Джеральда Гроу
Модель SSDL Джеральда Гроу фокусируется на четырех стадиях обучающегося, на роли, которую должен выполнять преподаватель по отношению к нему, и на способах обучения и вовлечения.
Традиционным мотивационным элементом считается геймификация: рейтинги, соревнования, элементы игры или полноценный геймплей.
Человеку по-прежнему нужен человек несмотря на технологический взрыв. Социальная природа подхлестывает мотивацию: сотруднику интересно учиться вместе с другими (когортное обучение, реальные и виртуальные команды на курсах). Мнение группы может заставить его выполнить задание или довести до конца проект. Именно этот эффект эксплуатируется в социальном обещании. Наличие реального преподавателя – мощный мотиватор для обучающихся, даже если речь идет об асинхронных формах. Например, в онлайн-курсах привлечение тьютора или ментора значительно повышает процент завершивших обучение.
Дедлайны тоже мотивируют, и метод FOMO (fear of missing out) в целом заставляет обучающихся действовать из опасения что-то упустить.
2
Качественный контент.
Содержание должно быть уникальным, актуальным, прикладным и наглядным, чтобы все примеры и пояснения отвечали заявленным целям. Нет более надежного способа потерять слушателя, чем обмануть его ожидания. Важна экспертная позиция авторов курса, из которой ведется повествование: нам легче соотнестись с экспертом-практиком, который уже решал подобные задачи и рассказывает о своем опыте, чем с теоретиком, говорящем на языке абстракций. Конечно же, не повредит и хороший сторителлинг: истории не только увлекают и фасилитируют понимание, но и облегчают запоминание, а также показывают, как использовать полученные знания.
Структура курса облегчает получение знаний. Слушатель охотнее обучается в понятной ему логике, где его ведут «от простого к сложному», «от части к целому». Тренд последнего времени – упаковка контента в микроформы, но увлекаться ею не советуем: иногда лонгрид должен оставаться лонгридом, особенно если речь идет о сложных концепциях и инструментах, которые требуют детального объяснения. Решением для лонгрида может стать хорошее визуальное структурирование текста – заголовки, выделение главной мысли, инфографика.
3
Визуальная привлекательность.
Согласимся с мнением некоторых ведущих педагогических дизайнеров, считающих, что блестящее визуальное оформление не спасет неактуальный или бессодержательный курс. Но всё-таки, на наш взгляд, приятный дизайн важен. Он может выполнять функцию удержания внимания: яркие персонажи, эволюция в визуальном оформлении по мере продвижения по курсу, интересные интерьеры для видео, привлекательная графика, удобство пользователя при взаимодействии – все это способствует поддержанию интереса слушателя.
Согласимся с мнением некоторых ведущих педагогических дизайнеров, считающих, что блестящее визуальное оформление не спасет неактуальный или бессодержательный курс. Но всё-таки, на наш взгляд, приятный дизайн важен. Он может выполнять функцию удержания внимания: яркие персонажи, эволюция в визуальном оформлении по мере продвижения по курсу, интересные интерьеры для видео, привлекательная графика, удобство пользователя при взаимодействии – все это способствует поддержанию интереса слушателя.
4
LX-дизайн (Learning Experience Design, дизайн учебного опыта).
При создании курса важно проектировать от опыта обучающегося. Для этого необходимо удерживать фокус на том, для кого курс создается, что слушателю нужно вынести из него и как он будет это делать. Образовательный путь и среду следует выстраивать согласно правилам и закономерностям LX-дизайна: оптимальный темп, баланс нагрузки и сложности, программируемое переключение активностей, возможность повторения изученного ранее, закрепления и регулярной рефлексии, а также внедрение обсуждения и горизонтального обучения и оценки (peer-to-peer).
При создании курса важно проектировать от опыта обучающегося. Для этого необходимо удерживать фокус на том, для кого курс создается, что слушателю нужно вынести из него и как он будет это делать. Образовательный путь и среду следует выстраивать согласно правилам и закономерностям LX-дизайна: оптимальный темп, баланс нагрузки и сложности, программируемое переключение активностей, возможность повторения изученного ранее, закрепления и регулярной рефлексии, а также внедрение обсуждения и горизонтального обучения и оценки (peer-to-peer).
5
Помощь в организации условий для обучения и внедрения результатов.
Примерно 12 % сотрудников готовы применять результаты обучения на рабочем месте3. Одной из причин такого низкого показателя является демотивирующая среда, неготовность или сопротивление руководителей тому, чтобы сотрудник работал по-новому. Делу поможет хотя бы минимальное включение руководителей в процесс обучения сотрудников, актуализация пользы от результатов, их соотнесение с мотивацией сотрудника, организация времени для занятий, поощрение и поддержка со стороны руководителя.
Примерно 12 % сотрудников готовы применять результаты обучения на рабочем месте3. Одной из причин такого низкого показателя является демотивирующая среда, неготовность или сопротивление руководителей тому, чтобы сотрудник работал по-новому. Делу поможет хотя бы минимальное включение руководителей в процесс обучения сотрудников, актуализация пользы от результатов, их соотнесение с мотивацией сотрудника, организация времени для занятий, поощрение и поддержка со стороны руководителя.
6
Коммуникационное сопровождение.
Хорошее коммуникационное сопровождение помогает сформировать позитивный и привлекательный образ обучения, поддерживать интерес в процессе. Оно может включать социальные и коммуникационные интервенции, например, регулярную рассылку, которая напоминает слушателю о его целях на курсе, а также напоминания, сопровождающие мемы, стикерпаки и коммуникационные мероприятия, если программа достаточно длительная. Здесь важен правильный выбор каналов коммуникации (платформа, чаты в мессенджерах, корпоративная почта), стиля и объема взаимодействия исходя из целевой аудитории.
Хорошее коммуникационное сопровождение помогает сформировать позитивный и привлекательный образ обучения, поддерживать интерес в процессе. Оно может включать социальные и коммуникационные интервенции, например, регулярную рассылку, которая напоминает слушателю о его целях на курсе, а также напоминания, сопровождающие мемы, стикерпаки и коммуникационные мероприятия, если программа достаточно длительная. Здесь важен правильный выбор каналов коммуникации (платформа, чаты в мессенджерах, корпоративная почта), стиля и объема взаимодействия исходя из целевой аудитории.
Весной 2020 года TalentTech и онлайн-университеты «Нетология» и EdMarket обнародовали исследование, согласно которому среднегодовой темп прироста мирового рынка онлайн-образования в ближайшие 5–7 лет составит 7-10%. Ожидается, что российский сегмент будет расти даже быстрее – на 12-15% в год. Несмотря на то что COR онлайн-курсов традиционно считается низким, исследования показывают4, что правильный дизайн и коммуникационное сопровождение увеличивают активность обучающихся в 5 раз, а COR – в 16 раз.
1Reich, J. & Ruipérez-Valiente, J. A. (2019). The MOOC Pivot // Science, 363(6423), pp. 130-131.
2Lederman, D. Why MOOCs Didn't Work, in 3 Data Points // Inside Higher Ed. January 16, 2019.
3Report on Workplace Learning Released by 24x7 Learning Inc. September 2015.
4Stanford study shows efficacy of team-based online learning // NovoEd. Research Brief. December 2016.
