Восемь – недостаточное количество
Дата публикации: 19/03/2004
Категория: Разработка сайта
Версия для печати
Кристин Перфети и Лори Ландесман
Один из вопросов, наиболее часто задаваемых web-дизайнерами и специалистами в области usability: «Какое количество пользователей достаточно для проведения usability-тестов?» До недавнего времени мы полагали, и говорили об этом нашим клиентам, что необязательно привлекать для тестирования более восьми человек. Эти рекомендации основывались на теории, утверждающей, что восемь человек могут обнаружить почти все проблемы usability сайта или программного обеспечения.
Роберт Вирзи в докладе, опубликованном в 1992 году, писал, что 80% всех недостатков по части usability можно выявить при участии четырех или пяти человек. К тому же, первые несколько человек, скорее всего, обнаружат большую часть usability-проблем. Джейкоб Нильсен и Томас Ландоер (1993) способствовали дальнейшему развитию данной теории, когда обнаружили, что первые пять пользователей-тестировщиков выявляют около 70% большей части usability-проблем, а следующие несколько человек обнаружат почти все оставшиеся проблемы: в общей сложности до 85%.
В ходе недавнего исследования, в котором мы основывались на устоявшемся мнении - что «восемь пользователей – достаточно». Было проведено usability-тестирование сайта электронной коммерции. При этом использовалась довольно простая задача: покупка CD в музыкальном Интернет-магазине. Для этого были отобраны люди, имеющие опыт подобных покупок. Далее участникам было предложено составить список нужных им CD, для приобретения которых им предоставили необходимую сумму денег. Так как мы изначально отталкивались от постулатов наших предшественников, то, соответственно, ожидали обнаружить 85% usability-проблем сайта с участием первых восьми покупателей. Предполагалось также, что все серьезные недостатки проявятся уже на ранней стадии тестирования. К тому же, после каждого последующего теста ожидалось увеличение количества повторяющихся usability-проблем.
После тестирования этого сайта с восемнадцатью пользователями, было найдено 247 помех на пути к эффективным покупкам. Вопреки ожиданиям, в каждой серии тестирования выявлялись новые usability-проблемы. Фактически, каждым участником было обнаружено более, чем пять новых недоработок.
Также важно, что много серьезных проблем было впервые обнаружено с некоторыми из последних участников. Но что было для нас наиболее удивительным - количество повторяющихся usability-проблем вовсе не увеличивалось по мере продолжения тестирования.
Эти результаты подорвали уверенность в том, что пяти пользователей будет достаточно для обнаружения 85% usability-проблем на сайте. В этих тестах после участия первых пяти человек найдено только 35% usability-проблем. В общей сложности на этом музыкальном сайте мы насчитали свыше 600 недоработок. Основываясь на этом результате, можно сказать, для выявления всех недостатков потребовалось бы 90 тестов.
Когда мы обнаружили противоречия между нашими результатами и выводами предшественников, расхождения произвели на нас значительное впечатление. Какова же природа этих различий? Дело в том, что в то время как мы изучали сайт электронной коммерции, Вирзи и его коллеги проводили тестирование программных продуктов. Современные web-сайты, особенно сайты электронной коммерции, могут быть гораздо сложнее стандартных пакетов программного обеспечения, которое часто замыкает пользователей в рамках ограниченного набора операций. А, отсюда и тестовые задания по сайтам куда более сложны, чем задания, связанные с применением программного обеспечения. Возьмем, к примеру, наш тест-покупка CD на музыкальном сайте: не было и двух участников, искавших один и тот же товар, или искавших одним и тем же способом. Техника выполнения задания в каждом конкретном случае зависела от индивидуальных характеристик и интересов пользователей.
Понятно, что из-за возрастающей сложности web-сайтов, необходимо будет все больше пользователей для обнаружения значительной части проблем usability.
Возможно, эти выводы звучат пугающе, однако, мы не призываем привлечь 90 пользователей для участия в очередном тестировании. Дело здесь вовсе не в количестве, а в качестве. Когда мы имеем дело с сайтом электронной коммерции внушительных размеров, или с каким-либо другим сайтом вообще, usability этого сайта, выиграет скорее от организации непрерывного тестирования, нежели от увеличения числа участников. Наша рекомендация: отойти от понимания usability-тестирования как исключительно дискретного процесса, проводящегося раз в шесть месяцев с привлечением шести-восьми или двенадцати человек. Подумайте о преимуществах перманентного usability-тестирования с участием одного-двух человек каждую неделю.
При использовании такого подхода, понадобится свыше 20 пользователей-тестировщиков в течение шести месяцев. Участие в тестировании большего количества человек, позволит получить более ценную обратную связь, выявить больше проблем, больше информации, но могут быть также и менее очевидные преимущества. Например, применяя метод непрерывного тестирования, можно испытывать новые идеи, чтобы проверить их в действии, не внося изменения в действующий сайт. Так как web-сайты подвергаются многим дополнительным, небольшим изменениям дизайна между кардинальными преобразованиями, таким образом, всегда есть новый материал для тестирования.
Кроме того, постоянная обратная связь с пользователями поможет всей команде, проводя регулярные тестирования, избежать оторванности от потребностей клиентов. Понимание того, кто является целевыми пользователями сайта, какой язык им наиболее близок, каковы их цели работы на сайте и смогут ли они их осуществить, поможет разработчикам, повысит популярность сайта, а значит и компании в целом.
При поддержке дизайн-студии Netsah – web site design and development studio, web site promotion services, graphic design
А так же студии Promodo – Раскрутка сайта. Продвижение оптимизация сайтов. Реклама маркетинг в Интернет. Советы специалистов.
Статьи по теме:
