Как аналитика может помочь в оценке эффективности мастер-класса?

Пост Евгения Бондаренко, первоисточник здесь>>

Все расчеты и визуализация сделаны в R.

Идея эксперимента состояла в том, чтобы проверить насколько эффективным является мастер-класс по развитию навыка Скорочтение.

Данный мастер-класс выбран по той простой причине, что мы можем очень легко получить точные замеры по скорости чтения «до» мастер-класса и «после» его прохождения.

Коротко обо всех этапа эксперимента

Мастер-класс по развитию навыка Скорочтение длится 2 часа. За это время участники знакомятся с основными идеями скорочтения, а также выполняют два упражнения. Одно упражнение на развитие скорости чтения. Второе ─ на развитие навыка понимания прочитанного.

Очень важно, что в самом начале мастер-класса делается замер скорости чтения (т.е. слов в минуту) каждого участника.

После этого участникам выдается форма Отчет о прогрессе, с которой им предстоит работать следующий месяц.

Идеальная ситуация, когда упражнения выполняются 6 дней в неделю. Для этого необходимо ровно 30 минут в день. Итого: 6 х 4 = 24 занятия за месяц.

После месяца работы над развитием навыка Скорочтение, участники заполнили новые анкеты, где они отметили, сколько дней занимались, а также сделан замер скорости чтения после месяца занятий.

Итак, что мы можем посмотреть для начала?

Давайте визуализируем наши данные, которые мы собрали из анкет «до» мастер-класса.

Пол

Боксплот, который показывает переменную скорость чтения, в зависимости от пола (женщина/мужчина).

Тот же показатель, только на диаграмме плотности. Мы видим кривую по женщинам и мужчинам.

Давайте проверим нашу первую гипотезу, например, о том, что женщины читают быстрее, чем мужчины.

Расчет t-критерия Стьюдента показала следующие результаты:

t = 0.55124 и p-value = 0.2919.

Т.е. мы не можем отклонить нулевую гипотезу, а соответственно статистически значимой разницы между скоростью чтения женщин и мужчин нет.

Взаимосвязи

В анкетах, которые участники заполняли «до» мастер-класса, есть информация о количестве прочитанных книг за этот год (за 10 месяцев этого года). Эта информация может нам помочь ответить на вопрос: Читает ли больше книг, тот, кто читает быстрее? Давайте для начала построим диаграмму рассеивания, где по Х – будет отражена скорость чтения (слов в минуту), а по Y – количество прочитанных книг за этот год. А также добавим линию тренда.

Мы видим положительную взаимосвязь. Т.е. при увеличении скорости чтения, увеличивается количество прочитанных книг.

Давайте теперь рассчитаем коэффициент корреляции.

Пирсон: t = 2.7073, p-value = 0.009157, cor = 0.3514813

Спирмен: S = 16326, p-value = 0.004868, rho = 0.3776915

Т.е. мы можем сделать вывод о наличии небольшой положительной корреляции на уровне 0,35-0,38. Данный показатель корреляции статистически значим (p-value < 0), что показали различные тестs (Пирсон, Спирмен).

Теперь давайте построим простую регрессионную модель с одним предиктором. Где количество прочитанных книг это зависимая переменная, а скорость чтения будет предиктором.

На рисунке мы можем видеть формулу, которая описывает нашу модель. Из нашей модели видно, что скорость чтения, слабенький предиктор (R² = 0.124) для количества прочитанных книг. Для улучшения модели можно было бы добавить и другие предикторы, но это уже выходит за рамки данного эксперимента.

Данные «после» мастер-класса

Прошел месяц, и участники заполнили анкету о том, как они занимались весь месяц, а также сделали замер своей скорости чтения за 1 (одну) минуту.

Теперь мы можем ответить на главный вопрос данного исследования: Изменилась ли скорость чтения наших участников мастер-класса после его прохождения?

Для такого сравнения мы будем использовать парный t-тест. Важно отметить, что в данном расчете участвуют данные только по тем участникам, которые занимались по методике хотя бы 6 дней.

Критерий Стьюдента: t = -3.3827, p-value = 0.009603

Критерий Вилкоксона: Z = -3.4776, p-value = 0.0005059

Т.е. мы можем сделать вывод о том, что замеры скорости чтения у одних и тех же участников, «до» мастер-класса и «после» обучения по методике, значимо отличаются. Данный вывод хорошо виден и на графике боксплот.

Другими словами, мы можем сделать вывод о том, что мастер-класс действительно помогает увеличить скорость чтения его участников.

Идеальная e-Learning команда

По горячим следам после "Искусства разработки курсов" навеяло...

Годовое оценочное собеседование на благо компании

Годовое оценочное собеседование, результаты которого должны подгружаться в любую уважающую себя систему автоматизации управления персоналом, проводится для того, чтобы подвести итоги года по конкретным задачам, как деловым, так и личностным. Говоря официально:

Годовое оценочное собеседование представляет собой структурированное интервью, проводимое руководителем подразделения с подчиненным, с целью оценки его работы за предшествующий год и решает конкретные задачи.

К сожалению, основной проблемой такого собеседования остаётся даже не недостаточный опыт составления сценариев и опросников для таких собеседований, но подход к самому факту его наличия.

У кого из вас поход к руководителю вызывает исключительно положительные чувства и твердую уверенность «вот сейчас-то меня выслушают, поймут и похвалят»? А, вы сами руководитель, ну тогда ясно. Если менеджеры уже приняли действенность и полезность ежегодного собеседования, то у рядовых сотрудников пока с этим некоторые затруднения. Мы просто не привыкли честно обсуждать свои промахи или говорить о своих достижениях.

Начнём с того, что говорить вообще не обязательно. Несмотря на то, что мы говорим «интервью», «собеседование», вербальное общение предусмотрено отнюдь не во всех компаниях.

Ежегодное собеседование может выглядеть как комплекс:

1. Психологических тестов;
2. Финансовых/деловых отчётов;
3. Опросников;
4. Анонимных писем (в случае, если речь идет об обзоре работы всего отдела/департамента, а не отдельных сотрудников);
5. И т.д.

Часто выбранные формы проведения не соответствуют навыкам сотрудников. Помните, когда ввели ЕГЭ, которое проводится в виде тестов? Школьники проваливались не потому, что они совершенно ничего не знали, а потому, что такой формат был для них в новинку, они терялись, угадывали и в итоге получали более низкие баллы, чем могли бы.

То есть сотрудник не знает, не привык, либо не понимает реальных целей мероприятия - собеседования. Из-за этого он преуменьшает или преувеличивает свои заслуги и трудности, заполняет отчеты не той формы или содержания, проходит тесты хуже чем мог бы. Как в купринской «Олесе», селян спрашивали, что болит, а они только и твердили, что «ни есть, ни пить не можу».

Помогите своим сотрудникам.  Что можно посоветовать в таком случае:

Для HR директора:

• Делайте несколько собраний в течение года;
• Постоянно напоминайте, что менеджерам и сотрудникам очень важно работать вместе;
• Предоставляйте всем менеджерам и сотрудникам девайсы,  чтобы лучше подготовиться к собраниям (программное обеспечение, устройства).

Для менеджеров

• Оценивайте сотрудника в течении целого года, а не только в момент собрания;
• Позволяйте сотруднику самостоятельно подвести итоги и тем самым сделать его участником процесса;
• Хвалите достоинства сотрудников ;

• Составляйте ясные цели, задачи и ожидаемые результаты. Если вы дошли до вербального собеседования, у вас уже должна быть четкая картинка чего вы хотите от каждого работника;
• Не меняйте время интервью, человек нервничает и шаблон дружелюбного и эффективного способа обзора достигнутого и не достигнутого сменяется вызовом на ковер.
• Не жалейте времени на собеседование;
• Место собеседования – соблюдение субординации, но проявление желания разобраться. Вы не «плохой коп»;

• Заполняйте оценочный лист сразу после собеседования, пока не забыли, однако пометки для себя можно делать и во время.

Для сотрудников

• Делайте оценку своих достижений и будьте самокритичными, но не притворно занижайте оценку;
• Делайте акцент на том, что вы умеете и что не используется. Таким образом, вы можете получить более интересные вам задачи или даже помочь своему менеджеру закрыть какую-то проблему;
• Умейте предлагать и протестовать;
• Выражать свои желания (повышение, тренинги и тд.) – с этим пунктом чаще всего крупные затруднения, просить чего-то финансового сотрудники обычно тоже не привыкли;
• Не бойтесь последствий корректного выражения своего мнения, для этого вас и вызвали;
• Такие собеседования проводятся действительно для того, что услышать вас, а не только поставить галочку.

Если у вас в компании есть психолог, подключите его к мерам HR, позвольте работникам научиться говорить ту информацию, на получение которой вы рассчитываете.

Имейте ввиду, что окончание интервью не менее важно, чем подготовка к нему. Руководитель формулирует цели для сотрудника, сначала устно с ним, а затем подтверждённые письменно.

Для того чтобы их достичь, цели должны быть:

1. Конкретными – цифры, контрольные точки, никаких «чтобы ваши результаты выглядели удовлетворительнее»;
2. Связанные как с личными достижениями, так и с целями и выгодой компании;
3. Реальными – «догнать и перегнать Америку», но понимать независящие от человека факторы.

Автоматизация процесса собеседования очень важна для дальнейшей аналитики результатов. Очень важно не только собрать и сравнить результаты нынешнего года для эффективного решения задач, но и провести анализ предыдущий лет. Учитывая курс на индивидуальность в HR сегменте, анализ ответов каждого сотрудника из года в год уже сейчас видится сильным подспорьем на непрекращающейся дороге совершенствования механизмов HR отдела.

Ежегодное собеседование составляется каждой компанией самостоятельно в зависимости от их запросов; и софт, своеобразная форма для хранения и анализа данных, должен быть подобран с учетом всех целей проведения собеседования. В дальнейшем данные будут соединять блок оценки и блок ATS, первоначально составляющий профиль кандидата и, в дальнейшем, сотрудника. Таким образом, результаты с самого начала работы, первично установленные планы и видения могут быть сравнены с тем, что в итоге получилось на практике.

Несмотря на все советы, данные выше, мы просим вас помнить, что первичная цель комплексной оценки персонала – экономическая. Ведь сотрудник с четким пониманием того, что от него ожидает компания, с адекватной оценкой и использованием своих сильных сторон и компетенций, с максимальной вовлеченностью влияет на результаты компании. Повышение прибыли, эффективность кампаний, расширение круга клиентов – все это зависит от человеческого ресурса вашей компании. Это разветвленный многоступенчатый процесс, который не должен прекращаться. При подборе системы оценки и выборе программного обеспечения для неё, удобнее использовать комплексные системы, однако и отдельные модули не теряют своей первоначальной эффективности. Осталось выбрать.

Годовое оценочное собеседование на благо компании

ATS или не ATS? Версия Халдена Ингверсена

Последние две недели мы говорили об ATS и говорили, что ATS – это хорошо. И вот нам на глаза попалась заметка Халдена Ингверсена (Halden Ingwersen), который говорит о том, почему ATS- плохо. Причем обращается не к кандидатам, а к HRам. Конечно, мы не могли пройти мимо. Однако, мы думаем, что автор бы согласился с нами, что ATS – это таки хорошо, НО если ATS подобрана и отформатирована ДЛЯ ВАС, для конкретной компании, с использованием её опыта и опыта её сотрудников. А так – мы согласны с автором, не стоит пускать процесс ATS на самотёк. Наслаждайтесь слогом мьсе Ингверсена:

Ваша ATS – полный кошмар. Пардон, прозвучало резко, позвольте перефразировать: ваша ATS абсолютный и стопроцентный кошмар.

Это не я сказал, это ваши кандидаты. А ведь эта система для них в первую очередь, так что послушайте.

Вашим кандидатам не просто не нравятся ваши методы найма, иногда эти методы так отвратительны, что  кандидаты предпочтут уйти куда-нибудь ещё. 60% кандидатов даже не доходят до конца заполнения ваших анкет из-за технических неполадок. Верно, верно, вы теряете таланты из-за вашей ATS.

Да, это ужасно и никто этого не хочет. Ни вы, ни ваш босс, ни даже ваши кандидаты. Если они подают заявки, значит они хотят на вас работать. Теперь вам надо всего лишь убедиться, что ваша ATS не отвращает их от вас ещё до того, как они получили приглашение на интервью.

К счастью, то же исследование говорит нам о том, как это исправить.

1) Они не чувствуют, что с ними обращаются «по-человечески»

Есть что-то в необходимости проходить компьютерную авторизацию, что заставляет чувствовать себя не в своей тарелке. Большинство кандидатов ожидают от вас хотя бы автоматического подтверждения, что вы получили их резюме, но даже в таком случае большинство из большинства будет недовольно – даже вежливое уведомление о получении кажется не таким уж персонализированным.

С вашей точки зрения, конечно, картина иная. Вы-то знаете, насколько много резюме вы получаете каждый день. Тонны! Вы может быть по самую макушку в новых резюме, и что вы точно знаете, так это то, что за каждым из них стоит человек, и у вас абсолютно нет времени на него. Вы просто физически не можете отправить каждому кандидату личный ответ.

Так что, ваша ATS никогда не станет полноценной заменой межличностному общению. Вам нужно, хотя бы, составить дружелюбный автоматический письмо-ответ, чтобы люди понимали, что где-то там, за машинерией и автоматизацией, есть человек. Это откровенно сильно поможет почувствовать вашему кандидату, что он нечто больше, чем номер в очереди.

2) Это создает ненужные барьеры, словно бег с препятствиями

Исследования показывают, что 70% кандидатов хотят, чтобы он-лайн заявка содержала в себе 5 или меньше шагов. Несмотря на то, что для вас такой информации может быть недостаточно, клиент (а в данном случае кандидат), как говорится, всегда прав. Особенно, если исследования о том, что 60% кандидатов не станут заполнять слишком длинную заявку, верны.

О, я почти слышу вашу реакцию.

“Если они не станут, то они сами же себе вредят! Нам не нужны неудачники!”

Может и не нужны, но терять более половины от вашего потока кандидатов – это плохой знак, и ничего воодушевляющего о вашем процессе подбора это не говорит. Вы не захотите, чтобы ваши клиенты перегорели на бесполезной работе, и вы не хотите заработать плохую он-лайн репутацию о компании, так что модернизируйте систему для них.

3) Они здесь для вас

Ваши потенциальные работники знают об ATS. Они прекрасно осведомлены, что есть автоматизированная форма между вами, и никто не хочет общаться с ней, если есть возможность пообщаться с вами напрямую. Это не так уж отличается от звонка в компанию и попадания на автоответчик: вы нажмёте на ноль или подождёте ответа оператора, чтобы услышать человека. Версия для ATS (внимание, лайфхак!) для этого – это отметить достаточно ключевых слов, чтобы резюме прошло все необходимые барьеры и попало в руки рекрутера.

Что вы предпочтёте, чтобы ваши кандидаты писали свои резюме и мотивационные письма для вашей компании, или переделывали их, чтобы обмануть машину? Если вы хотите получить действительно профильных сотрудников, а не резюме, набитое нужными ключевыми словами искусственно, можно начат хотя бы с переформулировки ключевых слов.

Как это исправить

Собственно мы подтвердили, что ваши кандидаты не в восторге о системы ATS, тогда что делать? Поверьте мне, я тут не просто языком болтаю, у меня есть три решения для вас:

1) Протестируйте ваш софт, как кандидат

Меньше, чем 40% рекрутеров сами протестировали ATS, зайдя как кандидат. Это безумие, учитывая, что самый лучший и простой пусть – это испытать на собственной шкуре. Если вы хотите понять, что получат ваши кандидаты, то есть как выглядит ваша ATS на самом деле, это обязательно – попробовать самому.

2) Поговорите с вашими кандидатами, чтоб понять чего они хотят

Опрашивать, опрашивать, опрашивать. Если вам повезло (или вы просто провели исследование рынка ATS до того и выбрали свою удачу), в вашей системе есть интегрированная возможность опросника, который позволит вам быстро получить отзыв. Если же нет, то попробуйте любой дополнительный инструмент для опроса. Можно попробовать ссылку в ответном письме или отдельное письмо, чтобы спросить кандидатов, даже не прошедших отбор. Возможно это – то, что кандидаты воспримут, как более «человечное»? Люди хотят, чтобы вы общались с ними. Избегайте быть безличностыми во всех возможных случаях, и это поможет обеим сторонам уравнения.

(Кстати, имейте ввиду, что откровенно позитивные или откровенно негативные отзывы могут быть сформированы огорчившимися отказом людьми, или в надежде, что хороший отзыв поможет им получить работу).

3) Сверьтесь с вашими существующими сотрудниками

Когда в моей альма-матер решили увеличить поток заявок, он сделал кое-что гениальное. Они провели опрос учеников старшей школы, чтобы понять, что же они хотят увидеть в колледже, и включили результаты в процесс подачи заявок. Увы, они ошиблись в одном – они не поговорили со своими собственными студентами, чтобы понять, что же побудило их выбрать наш колледж.

Из-за этого нововведения были изменены некоторые уже существующие программы, которые мы выбрали, поступив, чтобы они выглядели привлекательнее для школьников. А что же до нас, уже студентов? О нет, нам это не понравилось.

Вы хотите привлечь новых людей и сделать процесс найма рабочим для потенциальных кандидатов. Но, если вы не обратите внимание на то, чем руководствовали уже нанятые работники, когда подавали свои кандидатуры, вы явно потеряете важный кусочек пазла.

Суммируя

Итак, ваша ATS может вообще не быть причиной тормозящего процесса поиска и подбора. Может компании, проводившие исследования, просто огорчены своими низкими рейтингами в отзывах о процессе рекрутинга. Но принять во внимание любые советы относительно вашего процесса найма, так как плохой опыт у кандидатов ведет к негативному влиянию на другие различные сферы вашего бизнеса. Это в том числе и влияние на hr-бренд, с каким впечатлением о компании уйдет кандидат, ведь это зачастую наши действующие или будущие клиенты в реальной жизни.

Что думаете? Есть ли другие способы минимизировать негативный опыт у кандидатов?

Источник