Анализ данных исследования

У каждого исследования есть цель — получить знания о пользователях и понять, как наш продукт может решить их проблемы. Мы стремимся получить как можно больше информации, но сбор данных — это только часть исследования.

После того как данные собраны, нужно их проанализировать:

• убрать ошибки и искажения;
• выбрать метод анализа исходя из типа и количества данных;
• структурировать, интерпретировать и выделить закономерности;
• сформулировать ответы на исследовательские вопросы;
• зафиксировать итоги, выводы и рекомендации.

Анализ данных — это самостоятельный этап, ключевой для любого исследования. Именно здесь мы понимаем, какие гипотезы подтвердились, определяем сценарии пользователей, находим боли, UX-проблемы и инсайты для развития продукта.

Пропустив этап анализа, вы рискуете исказить выводы:

• упустить детали — когда проведешь несколько встреч подряд, к последней уже забываются подробности первой;
• перепутать, к кому из опрошенных пользователей относится полученный факт;
• запомнить только яркие инсайты, но не проверить, характерны ли они для всех пользователей.

Опираясь на такие выводы, вы не поможете продукту стать лучше, а только всех запутаете. В результате команда потратит ресурсы и создаст ненужную или неудобную фичу.

При планировании исследования донесите до заказчика ценность анализа данных и заложите на него достаточное время. Например, один час интервью может занять до трёх часов анализа.

Окончательные выводы мы делаем только после завершения анализа, но можем подводить промежуточные итоги. Они помогают принимать решения об изменениях по ходу исследования, например:

• после нескольких интервью поняли, что нужно делить аудиторию на более узкие сегменты, — запланируйте больше контактов с пользователями;
• после двух-трёх тестирований прототипа увидели критичную ошибку — предложите внести правки в прототип и протестировать обновленную версию.

Перед анализом данных важно вспомнить цели, задачи и гипотезы исследования. К ним стоит периодически возвращаться, чтобы фокусироваться на главном и не потерять из виду детали.

Чтобы анализ был полным, а выводы репрезентативными, данные нужно предварительно обработать.

Избавьтесь от нерелевантной информации. Найдите ошибки, пропуски, записи, которые не соответствуют выборке, и удалите их.

Проверьте репрезентативность выборки:

Обработайте открытые вопросы. Распределите повторяющиеся ответы по группам, чтобы обобщить их.

Анализ количественных данных — это статистический анализ, который помогает найти смысл в числах и заставить их отвечать на вопросы. Мы группируем события по темам и гипотезам, подсчитываем количество, ищем общие признаки и закономерности. В зависимости от целей и вопросов исследования, выбираем один или несколько приёмов анализа:

• Описательный: подсчёт частот, процентов, коэффициентов, средних, мод и медиан.
• Сравнительный: сравнение зависимых и независимых выборок.
• Анализ взаимосвязей: корреляционный и регрессионный анализ.

Для исследовательских целей почти всегда достаточно описательного анализа количественных данных. Остальные виды используем реже, так как они требуют больше ресурсов и могут затянуть или усложнить исследование без очевидной пользы.

Качественные данные фиксируйте в виде транскриптов — текстовых версий бесед. Зачем это делать: текст можно структурировать, а значит будет удобнее его анализировать и искать нужную информацию. Воспользоваться поиском по тексту проще, чем переслушать запись несколько раз.

Мы делаем транскрипты самостоятельно, без привлечения сторонних компаний:

• сами переслушиваем разговоры, переводим аудио в текст или используем специальные сервисы для расшифровки записей;
• выбираем, насколько подробный транскрипт писать: дословный с отметками о паузах и междометиях или тезисный с указанием ключевых фраз, мыслей и действий респондента;
• фиксируем эмоции респондента и цитируем его яркие высказывания;
• помечаем тегами важные мысли и ставим отметку со временем на записи, чтобы проще было найти этот момент разговора и переслушать его;
• делаем отдельный транскрипт по каждому респонденту или сразу вносим данные в единую таблицу со всеми ответами. Информацию в таблице группируем по общим признакам и категориям.

Анализ качественных данных — это содержательный анализ информации, который помогает её структурировать. Например, можно смотреть на текст в разрезе тем для интервью, отдельных событий или смыслов. Для этого используйте:

• Смысловой или тематический анализ— разделите текст на смысловые единицы, которые помогают найти ответы на вопросы исследования.

Тематический анализ хорошо описан в статье Марии Росала.

• Событийный анализ— опишите, что и в каком порядке случилось, как пошагово устроен процесс у пользователей.

После систематизации данных и группировки фактов мы раскрываем смысл найденных закономерностей и описываем, что означают результаты.

Не держите находки в голове, а сразу фиксируйте, чтобы не упустить чего-то важного.

При интерпретации данных, придерживайтесь следующих принципов:

• Сохраняйте нейтральную позицию. Подмечайте не только негативные моменты, но и позитивные, смотрите на всю картинку сразу.

  Если пользователь вёл себя излишне эмоционально, сохраняйте спокойствие. Не ведитесь на громкие крики и эмоции, будьте непредвзяты в суждениях.

• Разделяйте факты и мнения. Учитывайте, что порой мнение расходится с поведением.

  Если пользователь выполнял три простых действия полчаса, но назвал тестирование простым — смотрите на факты. Объективно он потратил много времени. Но помните, что субъективная оценка сложности тоже важна.

• Отделяйте главное от побочного. Главное — это то, что работает на цель исследования и помогает проверить гипотезы.

  Оставляйте за скобками исследования остальную информацию, например, пожелания пользователя по сервису — к ним вы вернётесь позже. Но если пользователь говорит, что откажется от сервиса, если не вы не сделаете фичу — это признак, что проблема критичная.

• Отделяйте частное от общего. Учитывайте, что не все проблемы пользователей — типичные.

  Когда один человек жалуется громко и настойчиво, а десять других не видят проблемы, не стоит фиксировать, что «пользователи недовольны».

• Ищите логические связи. Задумывайтесь о закономерностях, причинах и следствиях.

  Если 30% пользователей не делают выгрузку ключевого отчёта из сервиса, уточните, кто эти пользователи? Возможно, их объединяет какой-то общий признак, который объясняет такое поведение.

Когда проинтерпретируете данные и зафиксируете основные мысли — переходите к формулировке выводов.

Выводы всегда привязаны к цели и гипотезам, это те самые ответы на вопросы исследования, которые мы искали. Погружаясь в результаты исследования, мы начинаем видеть не только проблемы, но и возможности их решения. На основании этого видения можно разработать рекомендации — это тоже результат анализа.

В рамках одного исследования не всегда получается найти ответы на все поставленные вопросы. Зафиксируйте это в итогах, уточнив, какие области остались неизученными, и как их можно исследовать в будущем.

Формат фиксации и передачи информации зависит от того, кто и как будет пользоваться результатами, сроков и ожиданий заказчика. Одному заказчику достаточно отчёта, другому — презентации с фактами, приправленными шутками, третьему — схемы, выводов и рекомендаций.

При оформлении результатов исследования помните:

• К итогам обращается не только исследователь, но и команда. Зафиксируйте результаты так, чтобы заказчик или коллега могли быстро найти информацию. Например, прикрепляйте ссылку на итоги исследования к задаче в командном пространстве (Trello, YouTrack).
• Спустя время невозможно восстановить по памяти данные без искажений, поэтому всю важную информацию зафиксируйте в отчёте.

При описании результатов предлагаем придерживаться такого плана:

Отчёт и другие артефакты лучше сохранить в одном месте, тогда при повторном обращении к результатам будет легче восстановить контекст и переиспользовать данные.