Привет, онлайн-университет: как оценить качество онлайн-образования

Люди приходят учиться онлайн, потому что это стало удобно и доступно. Цели у студентов разные: заглянуть в новую область и примерить ее на себя, прокачать конкретный навык или получить новую профессию. А если образовательный продукт оказался не лучшего качества — материал был плохо структурирован, ученика оставили один на один с контентом, не было обратной связи — человек не достигнет целей. Или вовсе не завершит обучение.

Добавила ложку дегтя и пандемия с переводом детей на дистанционку. Некоторые родители стали замечать: учителя с трудом справляются в онлайне, а детям учиться неинтересно. Это помножило недоверие к онлайн-обучению. Поэтому участники рынка стали думать, как делать качественный продукт, который ученик порекомендует другу или коллеге.

Юля Селезнева, руководительница методической команды Skypro, рассказала в корпоративном блоге для журнала «Компания», какие критерии используются в онлайн-университете, чтобы оценить качество образования. И как решаются образовательные задачи студентов.

Устроится ли студент на работу

Мы в Skypro оцениваем качество образования по разным критериям. Ключевой для нас — устроится ли студент на работу. Поэтому мы следим в том числе за опережающими метриками, по которым понимаем, сможет ли ученик пройти собеседование, решить боевую задачу из тестового задания, ответить на вопросы нанимающего менеджера.

При этом мы опираемся не на то, что публикуют рекрутеры в вакансии на «Хедхантере», а на то, за что людей действительно берут на работу. Публикации в пространстве «Хедхантера» и то, что спрашивают на реальных собеседованиях, — это совершенно разные вещи. Поэтому при проектировании программ мы провели не менее десяти интервью с нанимающими менеджерами, чтобы понять, за что начинающих специалистов берут на работу.

Чтобы спокойно выпустить ученика на рынок, нам нужно убедиться: у выпускника достаточно навыков. Для этого мы пошли в обучении от аутентичных задач — с чем сталкиваются люди в реальной работе. И как задачи меняются в зависимости от контекста, компании.

Здесь метрикой качества для нас выступает валидация с экспертами. Мы соотносим их мнение с тем, что действительно спрашивают на собеседованиях. Это помогает нам формулировать четкие задачи и понимать, какие знания нужно дать студенту.

Приобретет ли нужные навыки

Дальше студент проходит интервью с наставником. Это некая симуляция собеседования. Только с фокусом на hard skills («жесткие навыки»). Это помогает нам сверяться с тем, насколько студент усваивает теоретический материал. А самому студенту — подготовиться к интервью с работодателем.

Еще у нас есть критерии оценки, насколько качественно студент выполнил домашнее задание. Это проверяет наставник. Он опирается на образовательные результаты, которых студент должен был достигнуть. Дальше дает развернутый фидбэк, смотрит, насколько качественно мы достигаем результата и на уровне одного студента, и на уровне всей группы.

Еще мы постоянно следим за актуальностью программ. Сейчас скорость изменений высокая: какие-то скилы умирают, появляются новые. Мы это мониторим и корректируем контент.

Вот какие инструменты оценки мы используем:

• Self-assessment (самооценка). С ее помощью студенты сами оценивают уровень своих знаний. А мы проверяем, насколько хорошо мы делаем контент.

• Показатели CSI (индекс удовлетворенности клиентов). После каждого урока ученик оценивает, насколько было интересно, сложно и полезно. То же самое — в домашней работе. Насколько она помогла применить знания, сколько времени ушло, чтобы ее сделать.

• Показатели NPS (индекс потребительской лояльности). После каждого курса мы следим, чтобы студенты давали обратную связь. Потом мы включаем ее в работу на всех уровнях сопровождения, контента, поддержки. Если есть критические моменты, спрашиваем у студента, что произошло.

Дойдет ли до конца

Доходимость зависит от очень многих факторов. Мы, например, следим за студентами по механике «Светофор». Смотрим, сколько сдано «домашек» и кто в какой зоне. В багровой зоне находятся студенты, которые сдали меньше 10–20% «домашек», в красной — меньше 20–30%, в желтой — 40–50%, в зеленой — от 70% и больше.

Важно, чтобы все студенты находились в зеленой зоне и не накапливали снежный ком из домашних заданий. Иначе очень сложно выделить время, чтобы разом сдать долги. Дело в том, что над курсовой можно начинать работу, только если сдано более 70% «домашек».

Факторы, которые влияют на то, дойдет ли студент до конца:

• Сложно выполнять «домашки». Если человек не справляется, он часто сдается, откладывает на потом и накапливает долг.

• Боится задавать вопросы. Студент сталкивается с проблемой, пытается ее сам решить, не идет за поддержкой к куратору или наставнику. Как результат — ученик и не делает, и не спрашивает.

• Загружен в личной жизни. Из разговоров со студентами я понимаю: многие и до старта курса не могли выделить себе несколько часов на развитие и досуг. А теперь они купили сложное обучение, и им не удается встроить его в жизнь. Тогда наша задача — помочь декомпозировать, предложить перейти в другой поток или взять каникулы.

• Нечетко сформулировал цель. Если студент купил курс импульсивно и не отдавал себе отчет, что это большая нагрузка и ответственность, он может забросить. Лишние сложности в жизни никому не нужны. Поэтому некоторые студенты отваливаются. Наша задача — поработать с ними, помочь разобраться.

• Сложная нагрузка по контенту. Хотя мы учим с нуля, кому-то нужно больше времени, чем другим. Просто в силу физиологических особенностей и опыта. У нас трудоемкое обучение, и некоторым не хватает ресурса.

Чтобы избежать таких ситуаций, мы на старте обучения подсвечиваем: будет сложно, и нужно выделять хотя бы восемь-десять часов в неделю. Так студент заранее спланирует время, а не будет выискивать на обучение случайные часы.

Комьюнити, доверие работодателей и безопасная среда

В процессе обучения важно выстраивать комьюнити, когда студенты взаимодействуют друг с другом, становятся друзьями и помощниками, когда выпускники возвращаются в качестве амбассадоров программ или даже преподавателей.

Отличный показатель качества — появится ли строчка с требованием в вакансии: «Окончил Skypro». И коэффициент ROI — насколько быстро студент устроится на работу с зарплатой х2 и выше и окупит обучение. Но мы еще в начале пути, и такие показатели — впереди.

И, наконец, важна безопасная среда. В обучении часто бывает: когда с чем-то не справляешься, реагируешь чувствительно. Нужна поддержка кураторов, наставников и команды, экологичность в плане коммуникаций.

Мы в Skypro верим в людей. Верим, что каждый может обучиться с нуля и изменить свою жизнь. И транслируем: студент должен верить в свои силы, и тогда его образовательный опыт будет эффективным.