Время — деньги, и часто исследователи хотят разослать свои опросы как можно быстрее. Однако поспешное их распространение приведет к некоторым проблемам при сборе данных. Предварительное тестирование поможет вам избежать этих проблем и повысить качество данных.
Что такое предварительное тестирование?
Это означает проведение опроса с небольшой тестовой группой до того, как вы проведете его в реальных условиях.
Существует множество способов, от простых до сложных. В зависимости от объема и масштаба вашего исследования, тестирование может быть чем угодно — от быстрой проверки чувств до важного этапа вашего процесса.
Для небольшого анкетирования это означает отправку проекта нескольким людям в вашей компании. Для крупного исследования вы можете провести пробное тестирование с большим количеством людей из вашей выборочной совокупности, проходя все этапы процесса опроса, проверяя технические ошибки и проблемы.
Какой бы уровень тестирования вы ни проводили, это всегда предпочтительнее, чем рассылать опрос без проверки, поскольку это может сэкономить ваше время, деньги и усилия.
Почему вы должны проводить тестирование?
Это необходимо для проверки потенциальных проблем может избавить вас от многих головных болей в дальнейшем и гарантировать получение нужных данных.
Также, это позволяет выявить любые проблемы до того, как вы отправите опрос участникам. Если есть вопросы, которые не имеют смысла, технические неполадки или потенциальные источники предвзятости, вы можете устранить их на ранней стадии, чтобы они не повлияли на окончательные данные.
Предварительное тестирование поможет вам избежать дорогостоящего и трудоемкого процесса отбраковки существующего несовершенного опроса и начать заново с новой анкетой и набором новых респондентов.
Предварительное тестирование полезно и для ваших участников. Оно помогает убедиться, что их время и усилия не будут потрачены впустую на работу, которая не приведет к полезным результатам.
Подготовка к тестированию
Прежде чем его проводить стоит немного поработать над планированием, особенно если ваше исследование сложное. Потратьте некоторое время на обдумывание того, что вы хотите получить в результате исследования и как будет выглядеть успех. Также полезно разбить проект на составные части и продумать, какие из них и как вы хотите предварительно протестировать.
Например, при тестировании анкеты вы можете сосредоточиться на нескольких важных моментах
- Понимание респондентами цели опроса и формулировки введения и вопросов.
- Логика и последовательность
Пункты в анкете следуют в логическом порядке, и ничто не кажется неуместным или запутанным. В то же время порядок вопросов не создает условий для предвзятости.
- Приемлемость
Ни один из вопросов не может вызвать обиду или затронуть чувствительные темы в неуместной форме.
- Продолжительность и приверженность
Работа с анкетой не отнимает много сил, и большинство респондентов могут дойти до конца, не теряя интереса и сосредоточенности.
- Техническое качество
Платформа для проведения опроса работает без сбоев, и проблем с UX не возникает.
- Введение и получение согласия
Во введении четко излагаются цель и сфера исследования, и пользователи могут дать информированное согласие до его начала.
Если вы проводите пилотный опрос, вы можете установить цели для каждого из этапов процесса, включая:
- Брендинг и внешний вид
Сама анкета, а также любые целевые страницы, кампании электронной почты или связанные с ними брендированные впечатления должны быть последовательными и привлекательными для аудитории.
- Анкета
Понимание, логика, приемлемость и другие вышеперечисленные аспекты удовлетворительны.
- Очистка данных
Процесс очистки данных четко прописан и работает хорошо.
- Обработка данных
Анализ данных, включая составление сводных таблиц и интерпретацию графиков, а также любое статистическое тестирование, осуществляется в соответствии с четким и последовательным процессом, который может быть задокументирован и повторен.
- Представление результатов
Формат отчета соответствует данным и четко отображает результаты.
- Методы тестирования опросов
Вот семь различных стратегий тестирования опросов перед началом сбора данных:
Подведение итогов респондентов
Чтобы получить отзывы от респондентов, вам необходимо добавить несколько оценочных вопросов в конце. Это могут быть открытые или закрытые вопросы, которые обычно направлены на оценку понимания и интерпретации респондентами вопросов. Они также должны включать общую оценку содержания опроса, времени, удовлетворенности и сложности.
Когнитивное интервьюирование
Когнитивные интервью — это хороший способ понять, что происходит в сознании респондентов, когда они отвечают на ваши вопросы. Такие интервью обычно проводятся один на один с небольшой выборкой из 5-15 респондентов. Когда респонденты отвечают на каждый вопрос, их просят подумать вслух, что может включать описание их мыслительных процессов, эмоциональные ответы или выражение суждений об их уверенности в том, что означает каждый вопрос.
В ходе когнитивного интервью вы можете обнаружить, что формулировка некоторых вопросов неоднозначна и нуждается в уточнении. Вы также можете узнать, что некоторые вопросы заставляют людей чувствовать себя неловко, или что ответ, который они хотели бы дать, не представлен в списке из нескольких вариантов. Когнитивные интервью также могут помочь вам выявить риск отсева, когда респондентам становится скучно или кажется, что опрос требует слишком много усилий.
Экспертная оценка
Ваш опрос может быть значительно улучшен благодаря отзывам двух типов экспертов:
1. Эксперты по теме, обладающие глубокими знаниями и опытом в области предмета вашего исследования.
2. Методисты, обладающие знаниями о том, как собрать наиболее точные данные для решения вашего исследовательского вопроса.
Эти экспертные оценки могут помочь сформировать содержание и форму вашего опроса, что приведет к повышению качества данных и получению более ценных выводов.
Фокус-группы
Может быть очень полезным пригласить фокус-группу для обсуждения вашего опроса. Эти группы, которые обычно представляют собой полуструктурированные дискуссии с участием 7-15 человек под руководством модератора, особенно полезны для разъяснения основных понятий в опросе и оценки восприятия нагрузки на респондентов или чувствительности темы.
Эксперименты
Разделение предварительной выборки респондентов на группы и тестирование различных вариантов плана и содержания вашего исследования будет эффективным способом понять, какие результаты вы можете получить при проведении основного опроса. Такие эксперименты особенно полезны для понимания того, как изменения в формулировке вопросов, дизайне анкеты, визуальном оформлении, порядке вопросов и многих других методологических факторах могут повлиять на собранные вами данные.
Пилотные опросы
Как мы уже описывали, тестирование окончательной версии вашего опроса от начала до конца может быть очень ценным. Для этого вам следует набрать небольшую выборку целевой группы населения. Обычно мы рекомендуем нашим клиентам использовать выборку примерно из 50 респондентов для таких пилотных исследований, или "мягкого запуска", если вам не нужно проводить дополнительное тестирование по различным демографическим группам.
Пилотный опрос может дать вам представление о том, какие ответы вы получите, и о любых проблемах, которые могут возникнуть в ходе реального исследования. Они часто служат в качестве "сухого прогона" и обычно проводятся непосредственно перед тем, как опрос будет проведен среди всей выборки. Целесообразно включить в пилотную анкету несколько оценочных вопросов, таких как восприятие респондентами длины или сложности анкеты, удовлетворение от участия в исследовании и т. д.
Анализ данных
Помимо сбора обратной связи от участников, вы можете проанализировать закономерности в их ответах, чтобы увидеть, где возникло замешательство, нерешительность или нежелание участвовать. Обратите внимание на "прямую подкладку" (когда в каждом квадратике в строке ставится галочка независимо от смысла), пропущенные вопросы и ответы "не знаю" и сверьте их с данными, полученными от респондентов, чтобы понять, есть ли здесь какая-то закономерность.
Действуйте в соответствии с полученными знаниями.
Как и в любом другом процессе обратной связи и тестирования, настоящим ключом к предварительному тестированию являются действия на основе полученных знаний. Используйте полученные в ходе тестирования знания для улучшения процесса и инструмента опроса. А если в результате полученной информации у вас появятся новые вопросы или идеи, рассмотрите возможность проведения второго раунда тестирования, чтобы сделать ваш исследовательский проект максимально эффективным.
