Применение методов ИИ для оценки качества проведения занятий в системе дополнительного профессионального образования

А.В. Белов, А.А. Антышев

1. Введение

По данным исследования международной консалтинговой компании Deloitte, в 2019 году [1] основным приоритетом российских и мировых компаний в сфере HR стало обучение персонала. Компании ищут наиболее эффективные, доступные подходы и инструменты адаптации сотрудников к меняющейся рыночной конъюнктуре. Один из способов корпоративной трансформации – обучение сотрудников новым подходам, технологиям, культуре и поведению. Чтобы не отставать от конкурентов, бизнесу приходится адаптироваться, менять скорость и качество обучения, инструменты обучения и способы вовлечения сотрудников в процесс.

Основными направлениями корпоративного обучения в компании могут быть:

• функциональная подготовка, направленная на эффективное выполнение сотрудниками должностных обязанностей, освоение бизнес-процессов, продуктов и технологий деятельности компании;
• развитие навыков деловой эффективности, направленное на достижение корпоративных стандартов качества ведения дела;
• развитие управленческих компетенций, направленное на формирование единой корпоративной системы управления.

В настоящее время наиболее востребованной формой корпоративного обучения является дистанционное обучение [2].

Дистанционное обучение в свою очередь подразделяется на следующие виды:

• электронные курсы, которые обеспечивают передачу и контроль усвоения информации и используются в основном для функциональной подготовки персонала;
• видеосеминары, которые направлены на конкретизацию и контроль усвоения информации, полученной при прохождении электронных курсов и самостоятельной подготовки, и повышают эффективность данных форм обучения за счет активного вовлечения участников в учебный процесс и получения от них обратной связи по обсуждаемым вопросам в режиме реального времени;
• внешние семинары, направленные на получение информации, необходимой отдельным специалистам по направлениям их деятельности в интересах компании, с целью решения конкретных задач или активного представительства в определенной профессиональной сфере;
• сертификационные программы, направленные на получение права ведения профессиональной деятельности в интересах компании, установленные в законодательном порядке или в соответствии с внутренними нормативными документами;
• самостоятельная подготовка, направленная на освоение новых знаний и навыков по направлениям деятельности сотрудников, постоянное повышение профессиональной квалификации в целях соответствия требованиям к занимаемой должности и профессионального развития.

При этом важным вопросом при выборе той или иной формы дистанционного обучения сотрудника компании становится анализ эффективности обучения. Можно выделить следующие наиболее распространенные модели оценки эффективности корпоративного обучения [3]:

• целевой подход Тайлера (Tyler’s Objectives Approach);
• модель Скривенса, нацеленная на результат (Scrivens’ Focus On Outcomes);
• модель Стафлебима CIPP;
• схема CIRO;
• натуралистический подход Губа (Guba’s Naturalistic Approach);
• модель V Брюса Аарона (Bruce Aaron’s VModel);
• модель Киркпатрика и Филлипса;
• модель Efficacy of learning компании Pearson и др.

В настоящее время многие предприятия и организации осуществляют цифровую трансформацию бизнеса, что приводит к необходимости подготовки и переподготовки кадров в области цифровизации процессов, создания новых моделей бизнеса, изучения новых, более эффективных средств управления предприятием, основанных на использовании современных информационных технологий.

В этой связи были разработаны следующие дисциплины программы дополнительного профессионального образования (ДПО) «Цифровая трансформация предприятия»: «Кибербезопасность», «Работа с данными», «Цифровое взаимодействие» и «Цифровизация процессов», адаптируемые к специфике деятельности предприятия, служащие которого будут проходить обучение. Обучение слушателей проводилось на платформе Smart LMS [4] с использованием элементов геймификации.

2. Методика проведения корпоративного обучения

Для каждой дисциплины была разработана программа учебной дисциплины (ПУД), соответствующая требованиям заказчика к контенту обучения и предусматривающая включение в процесс обучения элементов геймификации. Формат проведения занятий – онлайн с размещением всей учебной информации на платформе цифровых сервисов МИЭМ НИУ ВШЭ [5] при реализации программ основного обучения, а также программ ДПО.

Обучение на данной платформе строится следующим образом:

1. На самом первом этапе входа обучающегося в систему ему предлагается пройти входное тестирование навыков, соответствующих его должности и закрепленных в типовой матрице компетенций.
2. После оценки входного уровня обучающегося ему предлагается на изучение индивидуально подобранный набор контента для соответствующего уровня подготовки и имеющихся пробелов в знаниях: видеоролики, статьи, карточки из базы знаний.
3. Слушатель проходит обязательные обучающие курсы Базового уровня. Всего четыре направления курсов: «Кибербезопасность», «Работа с данными», «Цифровизация процессов» и «Цифровое взаимодействие».
4. После прохождения каждого обязательного курса пользователь может ответить на вопросы и выставить в качестве ответа оценку по шкале от 1 до 10. По результатам этих оценок будут рассчитываться критерии эффективности курсов.
5. Также пользователь может выставить общую оценку за весь курс и оставить комментарий в свободной форме.

Каждое занятие состоит из справочной информации, тестовых вопросов, дополнительных текстовых материалов и видео. По завершении курса слушатель проходит финальный тест. Для максимального вовлечения обучающегося в процесс обучения и удержания на платформе были определены следующие подходы к методике обучения в режиме онлайн слушателей программ ДПО:

• Микрообучение – предоставление образовательного контента небольшими порциями, которые не требуют много времени для изучения, но в то же время позволяют что-то узнать и запомнить. На прохождение каждого направления базового уровня требуется 2—3 часа, на среднем уровне — 15—20 часов. После каждого тестового вопроса есть ещё один вопрос на повторение и закрепление материала. Быстрый результат, подкрепляемый вознаграждением (баллами и игровыми бонусами), воодушевляет пользователя пройти ещё одно занятие, а затем ещё одно.
• «Интеллектуальная дуэль» с коллегами. Это основной игровой компонент, который работает на закрепление пройденного материала. Обучающийся соревнуется в онлайн-режиме с коллегами (случайно выбранными или с теми, кого он пригласил в игру) на знание вопросов курса. Победитель дуэли получает больше баллов в копилку. Проходить этот этап можно неоднократно, вызывая всё новых и новых сотрудников.
• Формирование личного и командного рейтинга. Обучающиеся могут создавать команды и вместе зарабатывать баллы, продвигаясь вверх по турнирной таблице. «Виртуальная доска почёта» побуждает обучающихся сотрудников продолжать обучение и выводить команду своего подразделения в топ. Пока игра не предусматривает дополнительного вознаграждения за набранные баллы.

Кроме того, важной особенностью процесса обучения является широкое использование практико-ориентированных кейсов, которые обеспечивают близость обучающего контента к тому, с чем они сталкиваются в своей работе. Все изучаемые технологии иллюстрируются на примерах реального внедрения моделей машинного обучения, систем автоматизации бизнес-процессов, технологий Интернета вещей, роботизации технологических процессов и т.п. Используемые в обучении кейсы хранятся в базе знаний типовых решений (БЗ ТР), которая интегрирует знания о типовых объектах автоматизации, бизнес-процессах, технологических особенностях различных видов производств, архитектурных решениях, используемых при автоматизации предприятий, количественных и качественных оценках успешности выполненных проектов внедрения [6]. Данная информация формируется и накапливается в процессе осуществления проектной деятельности сотрудников и студентов МИЭМ НИУ ВШЭ. Так, например, при изучении понятия «цифровой двойник» слушателю демонстрируется соответствующий кейс и разъясняется, что эта технология успешно применяется на его предприятии и, возможно, скоро появится и в его цехе. При этом у слушателя всегда есть возможность перейти на следующий уровень сложности программы. Если человек хочет повысить свои знания и понимает, что ему это пригодится, он может сдать тест и пройти дальше. В результате на предприятии должно сформироваться профессиональное сообщество, которое станет генерировать новые предложения в сфере цифровизации компании.

3. Оценка эффективности корпоративного обучения

Для анализа учебных процессов и последующей HR-аналитики будут использоваться следующие метрики.

• Количественные метрики

• COR (Completion Rate) означает «проходимость курса до конца». Для расчета нужно разделить число завершивших обучение на число начавших и умножить на 100%.
• Уровень сложности = количество сотрудников, успешно прошедших тестирование/количество сотрудников, проходивших тестирование.
• Время просмотра контента.
• Количество выполненных практических заданий.
• Скорость выполнения практических заданий = количество выполненных практических заданий/время, затраченное на выполнение.
• Количество часов обучения на одного сотрудника.
• Процент охвата обучением сотрудников компании = сотрудники, проходящие обучение/число сотрудников в компании.
  • Качественные метрики
• Степень знакомства с материалом (какой процент сотрудников досматривает видеоролики, дочитывает статьи, успешно проходит тестирование, также оценивается качество усвоения материалов).
• NPS (индекс лояльности пользователей) – это метрика, отражающая отношение клиентов к продуктам компании и в перспективе влияющая на развитие бизнеса. Для формирования этой метрики необходимо проводить опросы обучающихся. Сейчас это организовано так: компания-заказчик решила задавать слушателям пять вопросов, касающихся курсов, и на основе этих вопросов получить агрегированную, взвешенную оценку. Опрос слушателей проводился по следующим вопросам:

1. Будете ли Вы рекомендовать данный курс своим коллегам?
2. Являются ли по Вашему мнению полученные знания актуальными?
3. Насколько содержание курса является для Вас интересным?
4. Будете ли Вы использовать полученные знания в своей повседневной работе?
5. Соответствует ли содержание курса заявленным целям и результатам обучения?

В соответствии с методикой NPS ответ на каждый вопрос предполагал оценку по шкале от 1 до 10, где 1 – крайне негативный ответ, а 10 – крайне позитивный ответ. Обозначим:  – средневзвешенная оценка на i-вопрос, где i=1,…,5; total – общая оценка курса и pos_corr – характер комментария: негативные/позитивные.

• CSI (индекс удовлетворенности пользователей) — это подтип NPS. Алгоритм его расчета довольно прост: это оценка любого взаимодействия пользователя с товаром или услугой заказчика. Шкала может быть разной: от 1 до 10 или просто ответ в формате «да/нет». Для наших расчетов будем придерживаться бинарной системы.
  • Экономические метрики
• Показатель затрат на обучение на одного сотрудника = сумма затрат на обучение/количество прошедших обучение.
• Процент сотрудников, повысивших качество и эффективность работы после обучения = количество сотрудников, повысивших качество и эффективность работы после обучения/количество работников, прошедших обучение за отчетный период * 100%.
• ROEI = изменение дохода в результате обучения/затраты на обучение * 100%.

4. Сбор и подготовка данных

Основным методом сбора данных является опрос обучающихся после завершения каждого уровня курса по компетенциям «Кибербезопасность», «Работа с данными», «Цифровое взаимодействие» и «Цифровизация процессов». При реализации программы ДПО использовалось только два уровня – базовый и средний. Базовый уровень нацелен преимущественно на всех сотрудников компании, средний уровень – топ-100 работников. Также у обучающихся помимо заполнения опросной формы будет возможность оставить развернутый комментарий, где обучающийся сможет описать свои впечатления от курса, рассказать о слабых сторонах платформы, о том, что ему мешало или отвлекало от непосредственного процесса обучения, о том, что понравилось или о том, что стоило бы доработать и улучшить в курсе – например, методы или форму подачи контента. Полученные данные интегрировались с информацией о слушателе, были очищены, обработаны и подготовлены для дальнейшего анализа и отслеживания метрик учебной и HR-аналитики.

Кроме данных опроса использовалась информация о слушателе, которая составляет «цифровой след» служащего. Слушатель, в зависимости от должности и характера работы, оставляет свой «цифровой след» в инструментах для коллаборативной работы: рабочей почте, корпоративном портале и в корпоративном мессенджере, а также в других информационных системах, используемых в компании, например, «1С».

Таким образом, был получен следующий набор исходных данных.

Из учетной системы «1С»:

• ФИО сотрудника;
• пол;
• возраст;
• город работы;
• стаж;
• должность;
• структурное подразделение;
• характер работы (офис, производство).

Из корпоративного мессенджера:

• данные из профиля сотрудника (ФИО, рабочий e-mail, номер телефона, соцсети);
• количество и наименование чатов, в которых сотрудник состоит;
• количество и наименование чатов, которые создал сотрудник;
• количество всех диалогов и количество активных диалогов (коммуникация раз в две недели);
• содержание переписок в текстовом массиве;
• количество активных действий за день, неделю, месяц (реакция на пост/комментарий, ответ на пост/комментарий, написание поста/комментария).

Из системы Smart LMS:

• оценка каждого слушателя за пройденный тест (сдал/не сдал);
• общая оценка (обратная связь) от пользователя за курс;
• пять оценок (обратная связь) от слушателя для метрики NPS по каждому курсу;
• количество времени, затраченное на прохождение курса;
• количество правильных и неправильных ответов за тест;
• комментарий пользователя в свободной форме (обратная связь по итогам прохождения курса).

Эти данные будут использоваться для проведения семантического анализа комментариев [7], выявления жалоб на функционал платформы и контент учебных курсов, изучения технических проблем, формирования предложений по улучшению курсов. Анализ данных необходимо проводить в связке с данными о должности сотрудника, подразделении, проходимом курсе, а также полученной оценкой по каждому курсу.

5. Методы обработки данных

Для обработки комментариев из системы Smart LMS, данных переписок из корпоративного мессенджера, социальных сетей и рабочей почты использовались методы текстового анализа. В целях предобработки текстовой информации использовался метод векторизации данных TF-IDF (Term frequency-inverse document), который позволяет проанализировать частоту термина в фрагменте текста наряду с обратной частотой фрагмента в документе. Этот метод позволяет идентифицировать наиболее часто встречающиеся или значимые слова в документе.

На следующем этапе для непосредственной кластеризации комментариев/сообщений и группировки по общему смыслу (тематического моделирования) использовалась классическая модель LDA [8].

Алгоритм LDA – это алгоритм без учителя, соответственно, исследователю не требуется обучающая выборка. Данный алгоритм позволит получить представление об основных темах, обсуждаемых в комментариях и сообщениях. Тематические модели также могут быть полезны для изучения изменения колебаний частоты тем с течением времени (при помощи специального метода анализа временных рядов) или для поиска кластеров текстов, содержащих одинаковые или похожие темы.

6. Результаты компьютерного моделирования

При проведении компьютерных экспериментов по аналитической обработке данных использовались следующие инструменты:

– библиотеки Python: Word2Vec, TopicNet, BigARTM для кластеризации слушателей, тематического моделирования комментариев и расчета метрик по учебной аналитике;

– библиотеки pandas, numpy, sklearn, matplotlib, seaborn, plotly для анализа и визуализации данных.

Для первичной визуализации анализа комментариев использовались облака слов (WordCloud) [9], которые были составлены для каждой группы комментариев: позитивных, нейтральных, негативных комментариев, касающихся геймификации. На рисунке 1 представлено облако слов по позитивным комментариям.

Рис. 1. Облако слов по позитивным комментариям.

Как видно на рисунке 2, характер самых популярных слов незначительно отличается по негативным комментариям.

Рис. 2. Облако слов по негативным комментариям.

Характер и частота упоминания самых популярных слов также отличается и для нейтральных комментариев. Наиболее часто упоминающиеся слова расположены на рисунке 3 в соответствующей пропорции относительно частоты упоминания.

 Рис. 3. Облако слов для нейтральных комментариев.

На рисунке 4 представлено облако слов для комментариев, выделенных по ключевым словам из модели TF-IDF и касающихся геймификации. Модель TF-IDF отражает важность слова в тексте. Вес этого слова пропорционален частоте употребления этого слова в документе и обратно пропорционален частоте употребления слова во всей коллекции документов.

Рис. 4. Облако слов для комментариев по геймификации.

На следующем этапе обработки данных опроса был проведен корреляционный анализ комментариев по геймификации предложенных курсов. Для формирования корреляционной тепловой карты (рисунок 5) была использована библиотека визуализации данных в Python – Seaborn.

Рис. 5. Тепловая карта корреляционной зависимости комментариев.

Тепловая карта корреляционной зависимости комментариев, демонстрирует:

• сильную корреляцию между общей оценкой курса (total) и готовностью пользователя рекомендовать курс ();
• сильную взаимосвязь между общей оценкой курса (total) и интересом изучения для пользователей ();
• большинство пользователей, которые готовы рекомендовать курс (), отметили, что им было интересно проходить курс ();
• большая часть пользователей, отметивших высокую актуальность полученных знаний для операционной деятельности (), также упомянули, что курс соответствует заявленным целям ();
• корреляция между комментариями (pos_corr) и оценками (total) отсутствует.

Для определения тональности комментариев слушателей программ ДПО решалась задача бинарной классификации – разделения комментариев на два класса: позитивные и негативные комментарии. После предварительной обработки текстов комментариев – удаления стоп-слов и векторизации – были проанализированы следующие методы машинного обучения: метод опорных векторов, метод Байеса и k-ближайших соседей [9]. В ходе проведенного компьютерного эксперимента наилучшую точность классификации показал метод k-ближайших соседей (k Nearest Neighbors, KNN).

По окончании проведенного обучения результаты обработки данных и компьютерного моделирования были сведены в таблицу 1.

Таблица 1. Итоговая таблица с результатами обработки данных

Анализ итоговых результатов позволяет оценить эффективность дистанционных курсов обучения, проводимых в рамках программ ДПО, а также скорректировать содержание курсов, сделав их наиболее востребуемыми на рынке программ корпоративного обучения.

7. Заключение

Корпоративное обучение требует особых подходов, знания специальных технологий, условий, наличия специалистов, способных эффективно обучать работников практико-ориентированным знаниям с учетом специфики организации, особенностей отрасли, а также требований к конкретной должности. Интеллектуальный анализ данных, полученных в ходе проведения обучения по программе ДПО, в совокупности с информацией, получаемой из корпоративных учетных систем, позволили сформировать рекомендации по содержанию дисциплин, используемым методикам проведения дистанционных занятий, а также сформировать функциональные требования к построению информационно-аналитической системы оценки эффективности корпоративного обучения. Дальнейшие исследования будут направлены на реализацию системы анализа эффективности корпоративного обучения, формирование цифрового профиля сотрудника, определение влияния осваиваемой компетенции сотрудника на его эффективность как работника организации.

8. Список литературы

[1] 2019 Global Human Capital Trends https://www2.deloitte.com/us/en/insights/focus/human-capital-trends/2019.html.

[2] История развития и распространения дистанционного образования/ Хусяинов Т.М. // Педагогика и просвещение – 2014.— №4.- С.30-41.

[3] Оценка результативности системы дополнительного профессионального образования работников предприятия/ Александрова Е.А. // Труд и социальные отношения – 2013.— №7.- С.80-86.

[4] https://www.cnews.ru/news/line/2021-03-23_haulmont_s_nulya_postroila_dlya

[5] The Features of Building Integrated Digital Educational Environment for Engineering Education/ Slastnikov S.A., Korolev D.A,, Belov A.V. in: ITM Web of Conferences (International Forum “IT-Technologies for Engineering Education: New Trends and Implementing Experience” (ITEE-2019)/ Пер. с рус. Vol. 35. EDPSciences, 2020. P.1-8

[6] Разработка методики построения типовых решений для управления предприятием/ Белов А.В., Павлов В.А. В сб. Системные проблемы надежности, качества, информационных и электронных технологий. Информационные бизнес системы/Материалы Международной конференции и Российской научной школы. Часть 3. – М.: Радио и связь, 2004, 176 с.

[7] Разработка системы анализа тональности текстовой информации / В.В. Гаршина, К.С. Калабухов, В.А. Степанцов, С.В. Смотров // Вестник ВГУ, серия: Системный анализ информационные технологии, 2017, №3.

[8] Эффективная классификация текстов на естественном языке и определение тональности речи с использованием выбранных методов машинного обучения / Плешакова Е.С., Гатауллин С.Т., Осипов А.В., Романова Е.В., Самбуров Н.С. // Вопросы безопасности. – 2022. – No 4. – С. 1 – 14. DOI: 10.25136/2409-7543.2022.4.38658

[9] О некоторых подходах к решению задачи классификации текстов по тональности на примере анализа англоязычных отзывов / Е.Р. Болтачева, C.А. Никитина // Вестник кибернетики. – 2022. – №2 (46).

Авторы:

А.В. Белов, профессор, email: avbelov@hse.ru; А.А. Антышев, ведущий научный сотрудник, email: a166aa@yandex.ru. Национальный исследовательской университет «Высшая школа экономики», Москва.

Федеральное казенное учреждение Научно-производственное объединение «СТиС» МВД России.