Как аналитика может помочь в оценке эффективности мастер-класса?

Пост Евгения Бондаренко, первоисточник здесь>>

Все расчеты и визуализация сделаны в R.

Идея эксперимента состояла в том, чтобы проверить насколько эффективным является мастер-класс по развитию навыка Скорочтение.

Данный мастер-класс выбран по той простой причине, что мы можем очень легко получить точные замеры по скорости чтения «до» мастер-класса и «после» его прохождения.

Коротко обо всех этапа эксперимента

Мастер-класс по развитию навыка Скорочтение длится 2 часа. За это время участники знакомятся с основными идеями скорочтения, а также выполняют два упражнения. Одно упражнение на развитие скорости чтения. Второе ─ на развитие навыка понимания прочитанного.

Очень важно, что в самом начале мастер-класса делается замер скорости чтения (т.е. слов в минуту) каждого участника.

После этого участникам выдается форма Отчет о прогрессе, с которой им предстоит работать следующий месяц.

Идеальная ситуация, когда упражнения выполняются 6 дней в неделю. Для этого необходимо ровно 30 минут в день. Итого: 6 х 4 = 24 занятия за месяц.

После месяца работы над развитием навыка Скорочтение, участники заполнили новые анкеты, где они отметили, сколько дней занимались, а также сделан замер скорости чтения после месяца занятий.

Итак, что мы можем посмотреть для начала?

Давайте визуализируем наши данные, которые мы собрали из анкет «до» мастер-класса.

Пол

Боксплот, который показывает переменную скорость чтения, в зависимости от пола (женщина/мужчина).

Тот же показатель, только на диаграмме плотности. Мы видим кривую по женщинам и мужчинам.

Давайте проверим нашу первую гипотезу, например, о том, что женщины читают быстрее, чем мужчины.

Расчет t-критерия Стьюдента показала следующие результаты:

t = 0.55124 и p-value = 0.2919.

Т.е. мы не можем отклонить нулевую гипотезу, а соответственно статистически значимой разницы между скоростью чтения женщин и мужчин нет.

Взаимосвязи

В анкетах, которые участники заполняли «до» мастер-класса, есть информация о количестве прочитанных книг за этот год (за 10 месяцев этого года). Эта информация может нам помочь ответить на вопрос: Читает ли больше книг, тот, кто читает быстрее? Давайте для начала построим диаграмму рассеивания, где по Х – будет отражена скорость чтения (слов в минуту), а по Y – количество прочитанных книг за этот год. А также добавим линию тренда.

Мы видим положительную взаимосвязь. Т.е. при увеличении скорости чтения, увеличивается количество прочитанных книг.

Давайте теперь рассчитаем коэффициент корреляции.

Пирсон: t = 2.7073, p-value = 0.009157, cor = 0.3514813

Спирмен: S = 16326, p-value = 0.004868, rho = 0.3776915

Т.е. мы можем сделать вывод о наличии небольшой положительной корреляции на уровне 0,35-0,38. Данный показатель корреляции статистически значим (p-value < 0), что показали различные тестs (Пирсон, Спирмен).

Теперь давайте построим простую регрессионную модель с одним предиктором. Где количество прочитанных книг это зависимая переменная, а скорость чтения будет предиктором.

На рисунке мы можем видеть формулу, которая описывает нашу модель. Из нашей модели видно, что скорость чтения, слабенький предиктор (R² = 0.124) для количества прочитанных книг. Для улучшения модели можно было бы добавить и другие предикторы, но это уже выходит за рамки данного эксперимента.

Данные «после» мастер-класса

Прошел месяц, и участники заполнили анкету о том, как они занимались весь месяц, а также сделали замер своей скорости чтения за 1 (одну) минуту.

Теперь мы можем ответить на главный вопрос данного исследования: Изменилась ли скорость чтения наших участников мастер-класса после его прохождения?

Для такого сравнения мы будем использовать парный t-тест. Важно отметить, что в данном расчете участвуют данные только по тем участникам, которые занимались по методике хотя бы 6 дней.

Критерий Стьюдента: t = -3.3827, p-value = 0.009603

Критерий Вилкоксона: Z = -3.4776, p-value = 0.0005059

Т.е. мы можем сделать вывод о том, что замеры скорости чтения у одних и тех же участников, «до» мастер-класса и «после» обучения по методике, значимо отличаются. Данный вывод хорошо виден и на графике боксплот.

Другими словами, мы можем сделать вывод о том, что мастер-класс действительно помогает увеличить скорость чтения его участников.