В последнее время чаще всего мы говорим про семантическую оценку как про новый подход или парадигму в оценке персонала. В чем же ее отличие?
На что опирается семантическая оценка?
Семантическая оценка опирается на следующий факт: каждый человек под тем или иным словом имеет в виду свои личные значения и "упакованный" личный опыт, использует слова и значения, опираясь на свою неповторимую картину мира.
Такой подход к пониманию языка в науке называется экспериенциалистским, он приходит на смену подходу фиксированного значения, когда мы уверены, что за одним и тем же словом все люди понимают одни и те же значения.
Это важное изменение в подходе к оценке персонала: как только мы начинаем сомневаться, что слова из нашей модели компетенций или модели ценностей понятны каждому сотруднику, нам приходится уточнять у него, что конкретно он имеет в виду, когда отвечает на тот или иной вопрос.
Например, классические пункты опросника типа «Мне комфортно в моей команде» или «Я ценю в людях их профессионализм» с выбором ответа по шкале "нет - скорее нет - скорее да - да" предполагают, что понятия комфорт или профессионализм для каждого участника оценки значат примерно одно и тоже.
Такой подход к пониманию языка в науке называется экспериенциалистским, он приходит на смену подходу фиксированного значения, когда мы уверены, что за одним и тем же словом все люди понимают одни и те же значения.
Это важное изменение в подходе к оценке персонала: как только мы начинаем сомневаться, что слова из нашей модели компетенций или модели ценностей понятны каждому сотруднику, нам приходится уточнять у него, что конкретно он имеет в виду, когда отвечает на тот или иной вопрос.
Например, классические пункты опросника типа «Мне комфортно в моей команде» или «Я ценю в людях их профессионализм» с выбором ответа по шкале "нет - скорее нет - скорее да - да" предполагают, что понятия комфорт или профессионализм для каждого участника оценки значат примерно одно и тоже.
Как выглядит семантическая оценка?
Почему семантическая оценка работает?
В процессе такой оценки мы (специалисты по психометрике или пользователи отчётов с результатами) попадаем в ситуацию, когда нам приходится сначала понять, а только потом оценить человека и не рассчитывать на то, что он сам будет погружаться в сложные модели компетенций или индикаторы поведения. Такой подход делает результаты оценки глубже и даёт участнику оценки уверенность, что его правильно поймут, когда будут обрабатывать результаты.
В классической психометрике мы даем участнику готовый вопрос, имея в виду, что все ключевые слова из этого вопроса хорошо понятны. Качественный, хорошо написанный, вопрос из классической психометрики — это такой вопрос, который можно легко наблюдать за собой и в котором остаётся мало разночтений. Таких вопросов в опросниках достаточно мало, чаще встречаются оторванные от реальности вопросы.
В классической психометрике мы даем участнику готовый вопрос, имея в виду, что все ключевые слова из этого вопроса хорошо понятны. Качественный, хорошо написанный, вопрос из классической психометрики — это такой вопрос, который можно легко наблюдать за собой и в котором остаётся мало разночтений. Таких вопросов в опросниках достаточно мало, чаще встречаются оторванные от реальности вопросы.
В чем сложности такой оценки?
С одной стороны, большой вызов состоит в том, чтобы научиться оценивать по-другому, то есть перейти от оценки в духе "цифры говорят сами за себя" — посчитали стэны или Т-баллы и смотрим, что получилось — к содержательному сравнению текстов, которые человек написал в ходе опроса, и только после базового понимания использовать оценки, оставленные к этим текстам самим участником.
Технически семантическая оценка опирается на активное применение кластеризации текстов, технологий обработки естественного языка и других алгоритмов, которые позволяют сперва разобраться в том, что же написал человек.
Второй важный вызов для семантической оценки — это разработка групповых отчетов или какой-то обобщающей статистики по итогам оценки. В этот момент приходится разрабатывать шаблоны отчётов и техники анализа, позволяющие учитывать групповые семантические пространства: такие "когнитивные карты", в которых целая группа говорит что-то на одну тему, и в этой карте доступно как погружение в индивидуальный голос каждого участника, так и обобщение, выявление общих тем и единого голоса — групповой отчёт становится картой групповых смыслов или групповых представлений.
С одной стороны, большой вызов состоит в том, чтобы научиться оценивать по-другому, то есть перейти от оценки в духе "цифры говорят сами за себя" — посчитали стэны или Т-баллы и смотрим, что получилось — к содержательному сравнению текстов, которые человек написал в ходе опроса, и только после базового понимания использовать оценки, оставленные к этим текстам самим участником.
Технически семантическая оценка опирается на активное применение кластеризации текстов, технологий обработки естественного языка и других алгоритмов, которые позволяют сперва разобраться в том, что же написал человек.
Второй важный вызов для семантической оценки — это разработка групповых отчетов или какой-то обобщающей статистики по итогам оценки. В этот момент приходится разрабатывать шаблоны отчётов и техники анализа, позволяющие учитывать групповые семантические пространства: такие "когнитивные карты", в которых целая группа говорит что-то на одну тему, и в этой карте доступно как погружение в индивидуальный голос каждого участника, так и обобщение, выявление общих тем и единого голоса — групповой отчёт становится картой групповых смыслов или групповых представлений.
Пример карты групповых представлений: каждая точка - один ответ участника группы.
Такие карты и такие отчеты в целом более сложные, чем обычная статистика по итогам опросника или теста, потому что пользователю отчёта приходится сперва прочитать, что же находится внутри того или иного кластера текстов и понять это. Невозможно один раз и навсегда выучить "модель опросника" (как, например, модель DISC или модель Hogan) и пользоваться ей, подходя к любому подразделению или группе.
В семантической оценке каждый групповой отчёт уникален, отражает личные и групповые смыслы подразделения или группы сотрудников.
Что семантическая оценка даёт для T&D?
С точки зрения развития самих сотрудников по итогам такой оценки можно выделить две важные особенности.
Развитие в процессе оценки
Обычно основная нагрузка по работе T&D-экспертов в компании ложится на этап обработки и интерпретации результатов, разработке ИПР на основе отчёта по тесту и т.д. В классической психометрике участник получает себе отчет, в котором про него "всё уже написано".
В процедурах семантической оценки, напротив, участник с самого начала вовлекается в совместное конструирование этого отчета, становится его основным автором. Он может сделать такой отчет, который ему интересен, который ему понравится или покажется наилучшим образом отражающим себя на работе. Важно, что такое включение рефлексии фасилитирует и другие развивающие активности в компании.
Эта свобода самовыражения своеобразным способом решает проблемы социальной желательности, потому что вместо желания все контролировать и пытаться снизить социальную желательность опросника (делать обратные пункты, шкалы лжи, ипсативные вопросы), в семантической оценке мы даем респонденту некоторую вольность построить такую картину, которая ему кажется адекватной ему самому.
В ситуации массовой оценки этой свободы может быть не так много (например, мы можем попросить оставить комментарий к своим числовым оценкам), но в ситуации оценки топ- или мидл-менеджеров эта свобода достаточно велика, так как обычно оценочные процедуры встроены в интервью или в процедуры обратной связи по итогам оценки: есть больше возможностей услышать голос автора и понять, что он хотел отразить в своих текстах.
Кстати, и в классической психометрике есть исследование о том, что наименьшим риском социальной желательности обладают опросники, в которых есть только прямые пункты: участник чувствует, что в опроснике нет никакого подвоха, его спрашивают "обо всем хорошем" и дают возможность расслабиться и рассказать о себе.
Развитие в процессе оценки
Обычно основная нагрузка по работе T&D-экспертов в компании ложится на этап обработки и интерпретации результатов, разработке ИПР на основе отчёта по тесту и т.д. В классической психометрике участник получает себе отчет, в котором про него "всё уже написано".
В процедурах семантической оценки, напротив, участник с самого начала вовлекается в совместное конструирование этого отчета, становится его основным автором. Он может сделать такой отчет, который ему интересен, который ему понравится или покажется наилучшим образом отражающим себя на работе. Важно, что такое включение рефлексии фасилитирует и другие развивающие активности в компании.
Эта свобода самовыражения своеобразным способом решает проблемы социальной желательности, потому что вместо желания все контролировать и пытаться снизить социальную желательность опросника (делать обратные пункты, шкалы лжи, ипсативные вопросы), в семантической оценке мы даем респонденту некоторую вольность построить такую картину, которая ему кажется адекватной ему самому.
В ситуации массовой оценки этой свободы может быть не так много (например, мы можем попросить оставить комментарий к своим числовым оценкам), но в ситуации оценки топ- или мидл-менеджеров эта свобода достаточно велика, так как обычно оценочные процедуры встроены в интервью или в процедуры обратной связи по итогам оценки: есть больше возможностей услышать голос автора и понять, что он хотел отразить в своих текстах.
Кстати, и в классической психометрике есть исследование о том, что наименьшим риском социальной желательности обладают опросники, в которых есть только прямые пункты: участник чувствует, что в опроснике нет никакого подвоха, его спрашивают "обо всем хорошем" и дают возможность расслабиться и рассказать о себе.
Развитие пользователей отчётов
Кроме развития самого сотрудника через включение его рефлексии в процессе заполнения, проведение семантической оценки формирует требования к навыкам пользователей самих отчетов: HR-ам и руководителям.
В целом, семантическая оценка направлена на таких HR-ов и руководителей, которые готовы разбираться в результатах, которым важен процесс понимания в ходе оценки, которым действительно хочется разобраться, о что же думают его респонденты, а не пытаться отгородиться и дистанцироваться оценкой от своих сотрудников.
Поэтому семантическая оценка позволяет пользователю отчетов овладеть важным навыком — понимания или внимательного выслушивания своих сотрудников — чего часто может не быть в классическом отчете по итогам психометрики "с цифрами и типологиями".
Кроме развития самого сотрудника через включение его рефлексии в процессе заполнения, проведение семантической оценки формирует требования к навыкам пользователей самих отчетов: HR-ам и руководителям.
В целом, семантическая оценка направлена на таких HR-ов и руководителей, которые готовы разбираться в результатах, которым важен процесс понимания в ходе оценки, которым действительно хочется разобраться, о что же думают его респонденты, а не пытаться отгородиться и дистанцироваться оценкой от своих сотрудников.
Поэтому семантическая оценка позволяет пользователю отчетов овладеть важным навыком — понимания или внимательного выслушивания своих сотрудников — чего часто может не быть в классическом отчете по итогам психометрики "с цифрами и типологиями".
В чём же тогда суть оценки?
Что же в классической оценке остается от собственной оценки, если все вокруг такое неопределенное и открытое?
Здесь важно вспомнить само по себе понятие психодиагностики: "диагностика — это соотношение некоторого наблюдаемого поведения с той или иной оценочной категорией".
Кажется, что семантическая оценка полностью удовлетворяет этому требованию: в ней также есть набор наблюдаемых за человеком поведений (чаще всего это тексты и его оценки своих текстов — точно то же самое, что и в классических опросниках, только с дополнительным семантическим полем вокруг каждой цифры) и есть набор категорий оценки.
Единственным важным отличием является то, что диагностические категории (группы понятий или системы значений, которые получаются по итогам процедуры семантической оценки) могут быть заранее не фиксированы, не определены, и только после сбора данных, в процессе из интерпретации можно понять, подходит или не подходит участник к того или иного типа работе, есть ли у него те или иные выраженные риски и т.д.
Основной фокус здесь состоит в том, что в семантической оценке очень чётко отделены этапы обработки результатов и их интерпретации.
Обработка результатов позволяет реконструировать личное семантическое поле: приводит тексты, которые написал человек, в какую-то структуру, позволяет с ними быстро познакомиться и их понять, а интерпретация всякий раз зависит от того контекста, в который погружена процедура оценки.
Например если мы проводим конкурс на замещение высокой должности и на ней участники заполняют методику Story, рассказывая про свою личную жизнь, нам важно найти в этих рассказах какие-то ключевые события или свидетельства о нужном масштабе мышления или нужных элементах опыта. В семантической оценке мы делаем этот поиск уже после того, как человек в открытом виде рассказал о себе.
Здесь важно вспомнить само по себе понятие психодиагностики: "диагностика — это соотношение некоторого наблюдаемого поведения с той или иной оценочной категорией".
Кажется, что семантическая оценка полностью удовлетворяет этому требованию: в ней также есть набор наблюдаемых за человеком поведений (чаще всего это тексты и его оценки своих текстов — точно то же самое, что и в классических опросниках, только с дополнительным семантическим полем вокруг каждой цифры) и есть набор категорий оценки.
Единственным важным отличием является то, что диагностические категории (группы понятий или системы значений, которые получаются по итогам процедуры семантической оценки) могут быть заранее не фиксированы, не определены, и только после сбора данных, в процессе из интерпретации можно понять, подходит или не подходит участник к того или иного типа работе, есть ли у него те или иные выраженные риски и т.д.
Основной фокус здесь состоит в том, что в семантической оценке очень чётко отделены этапы обработки результатов и их интерпретации.
Обработка результатов позволяет реконструировать личное семантическое поле: приводит тексты, которые написал человек, в какую-то структуру, позволяет с ними быстро познакомиться и их понять, а интерпретация всякий раз зависит от того контекста, в который погружена процедура оценки.
Например если мы проводим конкурс на замещение высокой должности и на ней участники заполняют методику Story, рассказывая про свою личную жизнь, нам важно найти в этих рассказах какие-то ключевые события или свидетельства о нужном масштабе мышления или нужных элементах опыта. В семантической оценке мы делаем этот поиск уже после того, как человек в открытом виде рассказал о себе.
***
Семантическая оценка — эвристичный подход к пониманию человека, позволяющий сохранить в результатах больше его личных смыслов и его систему понятий, ставящий процесс понимания выше процесса "оцифровки" в работе с результатами и позволяющий лучше почувствовать, как устроена картина мира участника оценки.
Семантическая оценка — эвристичный подход к пониманию человека, позволяющий сохранить в результатах больше его личных смыслов и его систему понятий, ставящий процесс понимания выше процесса "оцифровки" в работе с результатами и позволяющий лучше почувствовать, как устроена картина мира участника оценки.
