Лучшие приемы usability -тестирования: интервью с Рольфом Моличем
Раздел: Usability 04-12-2004 FAQ оптимизатору на форуме ZenBroker
Кристин Перфети, интервью
Возможно, многие никогда не слышали о Рольфе Моличе. Однако, профессионалы, имеющие дело с usability-тестированием, оценкой дизайна или эвристической экспертизой, скорее всего, знакомы с его работами. С момента начала деятельности в данной области в 1983 году, Рольф провел несколько перспективных методов тестирования usability «discount usability engineering»*, в число которых входит и экспертный метод. Совместно с Якобом Нильсеном Рольф Молич разработал метод эвристической экспертизы, и затем сравнительную оценку методов usability-тестирования - CUE (Comparative Usability Evaluation).
Появление эвристической оценки многое изменило в подходе к вопросам usability. Это произошло, когда Рольф и Якоб Нильсен предположили, что можно получить оценку дизайна интерфейса, предоставив его на анализ экспертам. Однако, в последние годы, Рольф пересмотрел свою точку зрения на эту технологию и сегодня универсальность этой методики подвергается сомнению.
Сравнительные оценочные исследования usability первые в своем роде. Это метод, при котором специалистов в области usability со всего мира просят оценить одни и те же элементы интерфейса, используя обычные приемы. Рольф вместе с Робином Джефризом и другими соавторами (включая команды разработчиков интерфейса), сравнивали результаты этих оценок, пытаясь понять какие подходы usability-тестирования и составлению итоговых отчетов были наиболее эффективны.
В ходе самого известного исследования CUE-2 девять команд специалистов проводили usability-тестирование интерфейса сайта Hotmail. Позднее в CUE-4 участвовали 18 профессионалов (использующих как экспертные оценки, так и другие методы usability-тестирования), изучая систему резервирования гостиничных номеров iHotelier, написанную на Flash.
Хотя возлагались большие надежды на результаты CUE-4, уже исследование CUE-2 изменило наш взгляд на подходы к usability-тестированию. (Например, много вопросов возникло о том, насколько «научными» являются приемы usability-тестирования. Впрочем, это была не единственная проблема.).
Пока шли приготовления к очередному дневному семинару, у нас была возможность спросить Рольфа, что он думает о лучших приемах usability-тестирования. Вот о чем мы говорили:
UIE: Многие критики usability-тестирования утверждают, что этот метод не поможет исправить изначально некачественный дизайн. Согласны ли вы с этим?
Рольф Молич: Алан Купер мудро заметил «Для создания изысканного бриллианта, не стоит брать за основу кусок угля. Никакие усилия не помогут превратить уголь в драгоценный камень.» Я помог многим моим клиентам создать довольно качественные «куски угля», основанные на простых правилах написания сообщений об ошибках, формулировки ключевых выражений, настройки поиска по сайту и т.д.
UIE: Большое количество специалистов в usability считают, что «восемь пользователей достаточно» для того, чтобы найти основную массу usability-проблем на web-сайтах. Исходя из вашего опыта, сколько участников необходимо для тестирования?
На этот вопрос нельзя ответить однозначно. Количество пользователей, необходимое для тестирования зависит от цели исследования. Как известно, корабль, не имеющий цели не найдет причал. Здесь возможны варианты:
- Если цель в организации usability-тестирования - внедрить и популяризировать, тогда, я думаю, 3-4 человека будет вполне достаточно. Вообще-то, есть нечто более важное, чем количество участников - разумное участие команды разработчиков в процессе тестирования и дальнейшей выработки коллективного решения.
- Если цель - найти жуткие проблемы для проведения процесса интерактивной разработки, тогда 5-6 человек достаточно при современном уровне развитии технологии.
- Однако, если есть желание найти все usability-проблемы интерфейса, тогда потребуется большое число пользователей и помощников как показывают исследования CUE. В исследованиях CUE-2 и CUE-4 тесты с более чем 50 человек выявили огромное количество серьезных проблем, однако это далеко не счерпывающий список сложностей.
UIE: С тех пор, как Якоб Нильсен впервые начал популяризировать технику эвристической экспертизы, вы говорили, что не разделяете оптимистических точек зрения по поводу этой технологии. Что вы сегодня можете сказать?
Эвристические исследования дешевы, просты в описании, и обманчиво просты в реализации. Однако, я нечасто использую этот метод и не рекомендую его моим клиентам. Мне кажется несостоятельной мысль о том, что каждый может провести полноценное эвристическое исследование, пройдя интенсивный курс обучения. Результаты моих наблюдений показывают, что даже опытные специалисты делают невероятное количество ошибок в определении проблемных мест.
Еще одна сложность в том, что эвристическое исследование основано всего лишь на субъективных мнениях. Никто еще не дал мне вразумительный ответ на вопрос, который я несколько раз слышал от одного скептически настроенного дизайнера: “Почему твое мнение лучше моего?” Я думаю, что это замечательный вопрос, особенно если принять во внимание, что пользователи часто доказывают мою неправоту при первой же проверке эвристических предсказаний в ходе нормального usability-тестирования.
UIE:Что побуждает специалистов проводить сравнительные usability-исследования?
Конечно, прежде всего, любопытство и потребность в достоверной информации. Вместе с CUE -исследованиями я предлагаю дизайнерам профессионалам современные, можно сказать являющиеся последним словом web-дизайна приемы usability-тестирования. В то же время, я хочу дать участникам usability-лабораторий возможность выявить степень своего профессионализма в работе с основными приемами оценки качества проекта.
UIE: Что было наибольшим сюрпризом при сравнении процесса тестирования и итоговых отчетов каждой из девяти команд, участвовавших в исследовании CUE- 2?
Наиболее меня удивило то, что многие из тестов не в полной мере оправдали мои ожидания от приемов оценки качества usability.
В исследовании CUE-2, девять команд тестировали сайт Hotmail. У каждой группы было три недели на выполнение всего объема работ, включая подбор участников и разработку заданий. Кроме того, был введен ряд ограничений, дабы как можно больше приблизить условия тестирования к реальной рабочей ситуации.
Многие команды не смогли создать профессиональные тестовые задания, основанные на часто встречающихся повседневных ситуациях и не содержащие скрытых ответов. Кроме того, некоторые команды проявили неспособность найти различия между данными, полученными от участников и личными мнениями. Еще более удивительно было, насколько непрофессионально и неудобно формировали свои отчеты некоторые из групп специалистов, призванных стоять «на страже usability».
UIE: Каковы типичные недоработки в отчетах о проведенных исследованиях?
Прежде всего, хороший отчет о usability-исследовании сам должен быть юзабильным. Основные рекомендации по созданию качественного отчета о тестировании:
- Будьте краткими.
Пятидесяти комментариев на 30 страницах будет достаточно. Помните, что один из показателей квалификации хороших usability-профессионалов - это умение оптимально сократить комментарии, оставив только по-настоящему важную информацию.
- На второй странице отчета разместите краткое изложение исследования размером в одну страницу.
Внесите в этот пункт три основных позитивных комментария и три основных проблемы. Четыре из девяти команд, проводивших CUE-2, не включили в свои доклады краткое изложение исследования.
- Опишите позитивные результаты.
Идеальное соотношение между позитивными результатами и недоработками 1:1, нужно признать, что я редко получаю данные лучше, чем 1:3. Разброс результатов у команд в CUE-2 колебался от проблемных комментариев до положительных с соотношением 7:10.
- Классифицируйте свои оценки.
Проводите различие между губительными, серьезными, незначительными помехами, положительными результатами, программными ошибками и предложениями по улучшению интерфейса. Три из девяти коллективов CUE-2 вообще не классифицировали комментарии. Остальные шесть групп разработали свои классификационные схемы.
Конечно, отчеты очень важны, однако даже самый великолепный доклад будет бесполезен, если не ведет к благотворным изменениям пользовательского интерфейса. Например, хороший контакт с коллективом разработчиков посредством достижения консенсуса гораздо важнее, чем прекрасный доклад о тестировании.
(Рольф Молич предлагает пример отчета о usability-тестировании, который является попыткой следовать вышеизложенным комментариям.
www.dialogdesign.dk/utestreports.html )
UIE: В исследовании CUE-2, не было и одной usability-проблемы, которая повторялась бы у всех команд. Эти результаты демонстрируют острую необходимость преобразования процесса usability-тестирования. Вы не думаете, что ваши выводы ставят под сомнение эффективность usability-тестов?
По моему опыт в usability-тестирование очень очень важен, чтобы показать своим коллегам usability-проблемы в интерфейсе. Но в то же время я думаю, что результаты этого исследования говорят о том, что usability-тестирование не в силах определить всех недоработок по части usability интерфейса.
Команды, участвовавшие в исследовании CUE-2, отметили в отчетах 310 различных недоработок в usability. Большинство часто встречающихся проблем было отмечено семью из девяти коллективов. Только шесть дефектов было указано более чем половиной команд, тогда как о 232 изъянах (75%) сообщалось только однажды. Многие из проблем, классифицированных как «серьезные» описывались только одной группой. Даже задания, используемые большинством или всеми командами, приводили к разным результатам - примерно в 70% случаев применения одинаковых тестовых заданий выводы были различными. Отсюда я пришел к заключению, что предположение о том, что якобы все специалисты в области usability пользуются одними и теми же методами тестирования, получая при этом одинаковые результаты, совершенно ложно.
UIE:Учитывая ваши результаты, что является для разработчиков залогом уверенности в том, что они произвели «правильные» изменения на своих сайтах?
Очень просто: в этом вопросе никогда нельзя быть уверенным!
Однако если они адекватно оценивают свои возможности, не страдают манией величия, прислушиваются к критике, делают правильные выводы из неудач и ошибок, избегают «колдовских», интуитивных методов, а также постоянно участвуют в специальных обучающих тренингах, тогда, в конце концов, они смогут обнаруживать максимальное число недоработок.
UIE: Принимая во внимание данные проведенных оценочных исследований (CUE), как вы думаете, будут ли usability-тесты в будущем играть главную роль при создании качественных web-сайтов?
Usability-тесты - впечатляющая методика. Это великолепный инструмент убеждения скептически настроенных коллег в наличии и необходимости выявления usability-проблем интерфейса. Но в то же время можно сказать, что это слишком затратная процедура. И с этой точки зрения такие тесты стоит проводить главным образом для того, чтобы обрести доверие коллег, и далее применять более приемлемые качественные методы:
1.Стандартные «строительные блоки» для разработки удобного интерфейса;
2.Рецензии, основанные на стандартах;
3.Обоснованные рекомендации;
4.Контекстные исследования.
Я надеюсь, что настанет день, когда в нашем распоряжении будет библиотека обобщенных и систематизированных «строительных блоков» для создания интерфейса, тщательно протестированных реальными пользователями и доказавших свою результативность. Я также думаю, что мы сможем дать технологию сборки этих блоков в качественные проекты с высокими показателями usability.
*Термин Якоба Нильсена
При поддержке дизайн-студии Netsah – web site design and development studio, web site promotion services, graphic design
А так же студии Promodo – Раскрутка сайта. Продвижение оптимизация сайтов. Реклама маркетинг в Интернет. Советы специалистов.
