Índice>> Test>> Conceptos Generales acerca del Test de Usabilidad
El test de usabilidad desarrolla experimentos para obtener información específica acerca de un diseño. Los test tienen su raíz en la psicología experimental, lo que viene a significar la confianza en el tratamiento estadístico de los datos. Hoy, con más interés en la interpretación de los resultados que en las cifras a las que conducen los datos, se da menos importancia a los números y más o otras cuestiones que surgen o se descubren en el test. Por ejemplo, en la actualidad, muchos tests hacen uso del protocolo del pensamiento manifestado en conjunción con alguna forma de realización de medidas. Mientras la realización de medidas es todavía de utilidad, la información obtenida de las manifestaciones en voz alta se abre camino hacia el producto más rápidamente, sin ser precisa su consideración o análisis de forma previa a cualquier actuación sobre el mismo.
El proceso global es simple; hay que conseguir un cierto número de usuarios y descubrir cómo trabajan con el producto objeto del test. Normalmente se va a observar a usuarios operando de forma individual con el producto y se recogen datos acerca de cómo lo hacen (por ejemplo, cuánto tardan en realizar las tareas, cuantos errores cometen). Entonces se analizan los errores detectados en todos los experimentos de forma conjunta para detectar tendencias. Esta sección, basada en el libro de Rubin "Handbook of Usability Testing", entra en estas fases con mayor detalle:
¿Qué se quiere conocer del producto?
Se comienza estableciendo un propósito global para la investigación; podría querer determinarse, por ejemplo, el motivo por el que se han disparado las llamadas al servicio técnico después de la última salida al mercado o si, tras haber perdido parte de la cuota del mercado, los productos de la competencia se venden mejor porque son más usables.
No es un objetivo apropiado plantearse la medida en la que el producto es usable. El objetivo es algo para lo que se pueda desarrollar un test. Por ejemplo, ¿es el retraso en la carga de la aplicación Java lo que lleva a los usuarios a abandonar la página?, ¿cuánto le cuesta a alguien sin conocimientos previos hacer su declaración de la renta con este software?, ¿proporciona suficiente información el sistema de ayuda en línea?, ¿es fácil de entender esa información o se basa en jerga burocrática?
Identificar a los usuarios a participar
Es fundamental determinar el tipo de usuario que va a participar: hombres, mujeres o ambos, expertos en el uso del producto o novatos, jóvenes o ancianos... ¿Quiénes son los usuarios objetivo para nuestro producto?. Si lo que se pretende es realizar un test sobre los mandos de un avión de combate, no interesará una horda de escolares corriendo entre nuestros escenarios de test; de la misma forma, si se somete a test una máquina de refrescos incluiremos a los escolares en la población de usuarios, además de a los pilotos de combate. El perfil de usuario del producto es fundamental a la hora de desarrollar el diseño del test y elegir a la muestra de sujetos.
Determinación del diseño experimental
El diseño experimental hace referencia a la forma en que se ordenarán y conducirán los experimentos para eliminar las variables carentes de interés de nuestro análisis. Por ejemplo, supongamos que estamos comprobando un software para el cálculo de impuestos. ¿Buscaremos usuarios que hayan hecho la declaración de la renta mediante este software y ya tengan un cierto conocimiento del producto?. Podría resultar interesante dirigir dos grupos, uno que agrupara a los novatos y otro que agrupara a usuarios con un cierto nivel de experiencia.
Lógicamente, estas deberían derivarse de las que los usuarios normalmente realizan cuando están haciendo uso del producto. Hay que especificar qué es lo que se necesita para establecer el escenario: los estados de la máquina o del sistema en cuestión, pantallas, documentación y cualquier otro tipo de ayudas en el trabajo que deban estar presentes. Igualmente hay que determinar qué es lo que se va a entender por tarea completada (esto es, si el usuario guarda con éxito el documento editado, o completa una determinada operación de manufactura)
En la experimentación científica tradicional, por ejemplo, en la investigación química o biológica, de las que derivan últimamente las metodologías de test de usabilidad, la aparamenta de test haría referencia al típico material de laboratorio, como los mecheros Bunsen, las probetas y pipetas y demás dispositivos utilizados en el transcurso de un experimento. En el caso del test de usabilidad, se tratará del ordenador y del software, o de la maqueta de un puesto de trabajo de manufactura, o del prototipo del cuadro de mandos de un coche.
La aparamenta de test también incluye otros dispositivos presentes en el desarrollo del test, como las cámaras de vídeo para registrar las acciones del usuario, los dispositivos para registrar las acciones en la pantalla, grabadoras de audio para registrar comentarios, preguntas formuladas y respuestas, espejos unidireccionales, que mantendrán al experimentador fuera de la línea de acción del sujeto, y demás. Habitualmente se le da mucha importancia a estas cuestiones pero no tiene porqué ser así. Tanto si se utiliza un simple cámara portátil como si no existe en absoluto registro en vídeo, es posible obtener una gran cantidad de información de gran utilidad.
Será preciso como mínimo un experimentador para conducir el test, desde dar la bienvenida al usuario hasta explicarle la secuencia de test y trabajar con el mismo durante cada tarea. Podría resultar conveniente la presencia de uno o dos observadores que contribuyeran a reducir la carga de trabajo del experimentador encargándose de parte del registro de datos.
Establecer una lista de usuarios de la que se obtendrá una muestra poblacional de sujetos de test
Se ha escrito tanto sobre la elección de sujetos de test que resultaría muy difícil entrar a considerar todos los aspectos, pero vamos a proporcionar algunas indicaciones. Se va a precisar del suficiente número de sujetos para completar la muestra de la población en tanto que ha de contemplar una variedad de capacidades, experiencias y características demográficas y teniendo en cuenta que otros factores pueden perjudicar el diseño experimental e influir en los datos. El perfil de usuario determinado durante el diseño experimental ayudará a determinar al tipo de usuario de nuestro producto. Por ejemplo, los mandos de un avión de combate podrían ser utilizados no sólo por los propios pilotos sino también por el equipo de mantenimiento, los instaladores, el equipo de diagnóstico y los instructores. Sin embargo, para el propósito de lo que se pretende descubrir (¿Permite al usuario el sistema de detección de tráfico aéreo evitar una colisión durante el vuelo invertido?), el interés prevalecerá sobre un único segmento de la población de usuarios, los pilotos.
Incluso si se ha reducido la población de usuarios a un único perfil (por ejemplo, piloto de combate, hombre o mujer, con una visión 20/20 y edades entre los 22 y los 35 años, con, al menos, un nivel de diplomatura o equivalente), aún será preciso recabar más información. ¿Qué experiencia tiene cada usuario con este mando? ¿Están acostumbrados a los antiguos accionamientos mecánicos o prefieren dispositivos digitalizados de alta tecnología? ¿Alguno tiene ceguera de color? ¿Cuál de sus ojos es el dominante?. Y así se podría seguir y seguir, pero cuanto más conocimiento se tenga acerca de los usuarios de test, menor será la posibilidad de que algún factor extraño nos sorprenda de entre los datos experimentales.
¿Y cómo se encuentra a estos usuarios?. Por cualquier medio disponible, como puedan ser empleados y familiares de los mismos, agencias de trabajo temporal, empresas analistas de mercado. Indudablemente esto supone un gasto pero se consigue un importante ahorro en tiempo a la hora de establecer categorías y analizar características. También se puede acudir a los registro de los servicios técnicos y de los equipos de ventas, asociaciones de consumidores y organizaciones industriales. Dependiendo del tipo de población que se requiera se puede solicitar la ayuda de asociaciones de jubilados, que van a disponer de más tiempo libre, u ofrecer visitas escolares a los colegios, por ejemplo. Indudablemente, surgirán problemas al buscar una población entre pilotos de combate, como en el ejemplo utilizado anteriormente, o ejecutivos de alto nivel, si se pretendiera testear un sistema de información ejecutiva (Executive Information System, EIS), por ejemplo.
Preparar la aparamenta del test
La aparamenta requerida para un test de usabilidad incluye el ordenador y el software para un test de software, o una máquina o una maqueta para un test de hardware. Algunos test se desarrollan con prototipos; en tal caso, es preciso asegurarse de que los estados a los que se haya de acceder en cada escenario de tareas se encuentren disponibles en el prototipo. Del mismo modo, habrá de considerarse el material que haya que proporcionar al sujeto del test y al experimentador durante el transcurso del mismo. El sujeto contará con una lista de las tareas a realizar. Los pasos a través de los cuales se realizará la tarea se omitirán intencionalmente si lo que se pretende es descubrir la accesibilidad de ciertas secuencias de comandos. El experimentador dispondrá habitualmente de un esquema básico que reflejará el modo en el que presentará las tareas al sujeto usuario, así como un formulario para registrar observaciones durante el test. En ocasiones, se puede acordar el uso de un cuaderno de taquigrafía, que resulta útil cuando se pretende captar absolutamente todo lo que está sucediendo.
La muestra del test es el conjunto de sujetos a los que se conducirá a través del test. ¿Cuántos se necesitan?. La mayoría de las recomendaciones indican que al menos cuatro o cinco participantes son precisos para encontrar la mayoría de los problemas de usabilidad. La muestra se habrá de escoger en base a los objetivos y los perfiles de usuario, así como en la disponibilidad en las fechas de realización del test.
Preparar a los sujetos para el test
Dado que la mayoría de las personas se sienten incómodas cuando se les mete en un laboratorio y se les solicita que realicen una serie de tareas, mientras están siendo cronometrados y sus errores están siendo registrados para ser analizados, es fundamental ponerle las cosas fáciles al sujeto de test. Hay que explicarle que puede detener el test en cualquier momento, que puede salir al baño, o realizar un descanso si es preciso. Hay que recalcar que lo que se está testeando es el producto y, en ningún caso, el usuario, que no ha de sentirse presionado en ningún sentido por el test. Y, por supuesto, hay que agradecer al usuario su participación. En la mayoría de los tests se firman, con antelación al mismo, acuerdos acerca del respeto de la confidencialidad de las partes, así como los medios consentidos para el registro de los datos. Como parte de este papeleo previo, se puede solicitar del participante la cumplimentación de un cuestionario para identificar sus áreas de conocimiento o su actitud o simplemente para tener más información acerca de las características del mismo.
Un test típico consiste en un individuo ante una estación de trabajo realizando tareas escritas mientas un experimentador observa al usuario y le formula preguntas o proporciona indicaciones si es necesario.
Los test que buscan datos preferenciales o conceptuales (a través del pensamiento manifestado, por ejemplo) pueden dar lugar a una extensa interacción entre experimentador y sujeto. Los tests en los que se tratan de descubrir datos empíricos, como tasas de error, exigen, por otra parte, la reducción a la mínima expresión de tal interacción.
Hay que permitir trabajar al sujeto a través de las tareas sin demasiadas interferencias. Resultará difícil verlo esforzarse en momentos complicados, pero es preferible aprender de su esfuerzo en el laboratorio antes de que sufra esa situación tras haber pagado por el producto y habérselo llevado a casa. Desde luego, si el sujeto llegara a las lágrimas o pretendiera marcharse del laboratorio (lo que, efectivamente, puede ocurrir), correspondería solucionar de forma inmediata el problema o, simplemente, dar paso a otra tarea.
Incluso si no se está haciendo uso del protocolo del pensamiento manifiesto, podría resultar de interés formular al sujeto ciertas preguntas durante el test si se considera de mayor interés descubrir el motivo por el que el usuario hizo algo de una forma determinada.
Discutir el test con el usuario
Una vez que se han completado las tareas, y el test ha finalizado, se pasa a charlar con el usuario acerca del mismo. Conviene volver sobre los sucesos que pudieron tener lugar durante el test para reunir más información a partir de lo que el usuario estaba pensando en ese momento. Una forma de revisar estos momentos es volviendo a los mismos y discutirlos con el sujeto, o, simplemente, preguntarle qué momentos del test considera más notables.
Hay que agradecer al usuario su participación. No se puede olvidar que nos están haciendo un gran favor, y es fundamental mostrarles nuestro aprecio. La mayoría de los laboratorios realizan algún regalo después del test. Además, manteniendo al usuario contento, se mantiene la posibilidad de su colaboración en experimentos futuros.
Encontrar primero los problemas más graves
La identificación de los problemas más graves es la más sencilla en tanto que estos se van a evidenciar de las notas tomadas durante la sesión. Si cada usuario tuvo algún problema con el mismo elemento de un menú, evidentemente dicho elemento requerirá un revisión.
Los datos de realización, como tasas de error y duraciones de las tareas, se evalúan mediante un análisis estadístico sobre el conjunto de los datos. La mayoría de los análisis consisten en el cálculo de una media y una desviación estándar así como de una comprobación de los datos para su validez. ¿Se advierte alguna tendencia de los datos? ¿Son más complejas determinadas partes del producto?
Mediante la observación de las acciones de los usuarios, registrando sus opiniones, durante el test, formulando preguntas o registrando sus manifestaciones y antes o después del mismo, mediante el uso de cuestionarios, surgen una enorme cantidad de datos preferenciales. La mayoría de los diseños de los cuestionarios permiten cuantificar opiniones mediante el uso de escalas numéricas, y los datos cuantitativos encontrados pueden ser analizados mediante análisis estadístico.
El test de usabilidad se utiliza a través del ciclo de vida del desarrollo del producto. En las etapas tempranas del proceso de desarrollo, el test de una versión previa o del producto de un competidor proporciona referencias muy útiles al equipo de diseño. En las etapas medias, el test valida el diseño e informa sobre las posibilidades de refinamiento del mismo. En etapas posteriores, el test asegura que el producto alcanza ls objetivos del diseño.
Dumas, JS, and Redish, Janice, A Practical Guide to Usability Testing, 1993, Ablex, Norwood, NJ ISBN 0-89391-991-8 (papel)
Lindgaard, G., Usability Testing and System Evaluation: A Guide for Designing Useful Computer Systems, 1994, Chapman and Hall, London, U.K. ISBN 0-412-46100-5
Rubin, Jeffrey, Handbook of Usability Testing, 1994, John Wiley and Sons, New York, NY ISBN 0-471-59403-2 (papel)
Bell, Brigham, Rieman, John, and Lewis, Clayton. "Usability Testing of a Graphical Programming System: Things We Missed in a Programming Walkthrough.'' Communications of the ACM volume/number unknown (1991): 7-12
Chartier, Donald A. "Usability Labs: The Trojan Technology.''
Cline, June A., Omanson, Richard C., and Marcotte, Donald A. "ThinkLink: An Evaluation of a Multimedia Interactive Learning Project.''
Haigh, Ruth, and Rogers, Andrew. "Usability Solutions for a Personal Alarm Device.'' Ergonomics In Design (July 1994): 12-21
Heller, Hagan, and Ruberg, Alan. "Usability Studies on a Tight Budget.'' Design+Software: Newsletter of the ASD (1994)
Jordan, Patrick W., Thomas, Bruce, Weerdmeester, Bernard,
(Eds.), Usability Evaluation in Industry, 1996, Taylor & Francis, Inc., London, UK. ISBN: 0-74-840460-0
Lund, Arnold M. "Ameritech's Usability Laboratory: From Prototype to Final Design.''
Whiteside, John, Bennett, John, and Holtzblatt, Karen. "Usability Engineering: Our Experience and Evolution'' from Handbook of Human-Computer Interaction, M. Helander (ed.). Elsevier Science Publishers B.V. (North Holland), 1988: 791-804.
Wiklund, Michael E., Usability in Practice, 1994, AP Professional, Cambridge, MA ISBN 0-12-751250-0
Yuschick, Matt, Schwab, Eileen, and Griffith, Laura. "ACNA--The Ameritech Customer Name and Address Service.''
Bailey, R. W., et. al. "Usability Testing versus Heuristic Evaluation: A Head-to-Head Comparison.'' Proceedings of the Human Factors Society 36th Annual Meeting, (1992): 409-413.
Dayton, Tom, et. al. "Skills Needed By User-Centered Design Practitioners in Real Software Development Enironments: Report on the CHI `92 Workshop.'' SIGCHI Bulletin v25 n3, (July 1993): 16-31.
Jeffries, R., et. al., "User Interface Evaluation in the Real World: A Comparison of Four Techniques.'' Reaching through Technology: Proceedings of the 1991 CHI Conference, New Orleans, April-May 1991, NY: Association for Computing Machinery (ACM), 119-124.
Virzi, Robert A. "Refining the Test Phase of Usability Evaluation: How Many Subjects is Enough?'' Human Factors, v34, n4 (1992): 457-468.
Métodos de Test en Recopilación
Copyright James Hom (1996).
Traducido por Alejandro Floría (Enero 2000)
alejandrofc@sidar.org
Área de Ingeniería de Proyectos.
Departamento de Ingeniería de Diseño y Fabricación.
Centro Politécnico Superior | Universidad de Zaragoza.
María de Luna, 3, 50.015, Zaragoza, España.