Métodos
Evaluación Heurística
Hechos:
- También llamada: Revisión Heurística, Ingeniería de Usabilidad Rebajada, Evaluación de Usabilidad, Inspección de Interfaz de Usuario, Revisión de Experto.
- Etapas del Proceso: Todas.
Un método de evaluación de usabilidad en el que uno o más revisores, preferiblemente expertos, comparan un software, documentación o hardware con una lista de principios de diseño y especifican dónde el producto no sigue esos principios.
- Descripción Básica
- Cómo
- Consideraciones especiales
Resultados e Informes
Lista de problemas de usabilidad, algunas veces con valoraciones o juicios sobre la seriedad de los problemas para los usuarios.
Beneficios, Ventajas y Desventajas
Beneficios
La evaluación heurística se encuadra dentro de los métodos de ingeniería de usabilidad conocidos como Ingeniería de Usabilidad Rebajada (Nielsen, 1989). Los beneficios principales de estos métodos son que son menos caros que otros tipos de ingeniería de usabilidad y que requieren menos recursos (Nielsen, 1989). Los beneficiarios son los responsables de la producción del producto –cuesta menos dinero realizar una evaluación heurística que cualquier otra forma de evaluación de usabilidad, y esto reduce el coste del proyecto-. Por supuesto, los beneficios que obtenga el usuario de un producto más usable.
Ventajas
- Es económico con respecto a otros métodos de evaluación (Nielsen y Molich, 1990). (Nielsen & Molich, 1990).
- Intuitivo y fácil para motivar a posibles evaluadores a usar el método (Nielsen y Molich, 1990).
- No es necesaria una planificación avanzada (Nielsen y Molich, 1990).
- Los evaluadores no requieren entrenamiento formal en usabilidad. En su estudio, Nielsen y Molich utilizaron programadores profesionales de ordenadores y estudiantes de ingeniería informática (Nielsen y Molich, 1990, Nielsen, 1992).
- Puede ser usado en fases tempranas del proceso de desarrollo. (Nielsen y Molich, 1990)
- Los resultados son más rápidos que un test de laboratorio (Kantner y Rosenbaum, 1997).
Desventajas
- Como originalmente propuso Nielsen y Molich, los evaluadores deberían tener conocimiento de los principios de diseño usable, pero no ser expertos en usabilidad (Nielsen y Molich, 1990). Sin embargo, Nielsen ha mostrado posteriormente que los expertos en usabilidad identificarían más aspectos que los no expertos y los “doble-expertos” –expertos en usabilidad que también tienen experiencia con el tipo de interfaz (o el dominio) que es evaluado – fueron quienes identificaron más aspectos (Nielsen, 1992)- Es posible que sea difícil encontrar a estos “doble expertos”, especialmente para compañías pequeñas (Nielsen, 1992)./li>
- Los evaluadores individuales identifican un número relativamente pequeño de aspectos de usabilidad (Nielsen y Molich, 1990). Se recomienda utilizar a varios expertos puesto que se espera que un único experto encuentre sólo un pequeño porcentaje de problemas. Los resultados de múltiples evaluadores deben ser recopilados (Nielsen y Molich, 1990).
- Las evaluaciones heurísticas y otros métodos rebajados pueden no identificar tantos aspectos como otros métodos de ingeniería de usabilidad como por ejemplo el test de usabilidad (Nielsen, 1989).
- La evaluación heurística puede identificar más aspectos poco relevantes y menos aspectos importantes que hubieran sido identificados en un test de pensamiento en voz alta (Jeffries y Desurvire, 1992).
- Las revisiones heurísticas pueden no ser escalares para interfaces complejos (Slavkovic y Cross, 1999). En interfaces complejos, un número pequeño de evaluadores puede no encontrar la mayoría de los problemas en un interfaz y se pueden perder algunos problemas serios.
- No siempre propone soluciones inmediatas a los aspectos de usabilidad que son identificados (Nielsen y Molich).
- Predispuesto por las prejuicios de los evaluadores (Nielsen y Molich, 1990).
- Como regla, el método no creará “momentos eureka” en el proceso de diseño (Nielsen y Molich, 1990).
- En la evaluación heurística, los evaluadores sólo simularán a los usuarios –ellos no son los usuarios propiamente dichos. El feedback del usuario real sólo puede ser obtenido de un test de laboratorio (Kantner y Rosenbaum, 1997) o implicando a los usuarios en la evaluación heurística (Muller, Matheson, Page y Gallup, 1995).
- Las evaluaciones heurísticas pueden ser propensas a reportar falsas alarmas- que los problemas detectados no sean problemas de usabilidad en la aplicación (Jeffries, 1994).
Nota
Las suposiciones justificativas originales sobre el método de evaluación heurística presentadas por Nielsen (1989) y Nielsen y Molich (1990) fueron: el método es relativamente barato, los evaluadores no tienen por qué ser expertos en usabilidad, debería haber evaluaciones de "varios" evaluadores, y que cuando los resultados son recopilados, los evaluadores encontrarán la "mayoría" de los aspectos encontrados por métodos más caros.
La literatura presenta mensajes mezclados sobre las ventajas relativas y desventajas del método de revisión heurística. Por ejemplo, dos artículos escritos a principios de los 90 (Jeffries, Miller, Wharton y Uyeda, 1991; Desurvire, Kondziela y Atwood, 1992) compararon la efectividad de los diferentes métodos de evaluación de la usabilidad, incluyendo las revisiones heurísticas.
Jeffries et al., encontraron que en las revisiones heurísticas se identificaron más aspectos de usabilidad que otros métodos usados en su estudio – test de usabilidad, revisión por pautas, y paseo cognitivo – cuando los resultados de todos los evaluadores fueron recopilados (Jeffries et al., 1991). Sin embargo, su definición de evaluación heurística fue distinta de la descrita por Nielsen y Molich. Ellos usaron profesionales de usabilidad con experiencia – “ especialistas en UI estudian la interfaz en profundidad y buscan propiedades que conocen, desde la experiencia , que les llevarán a problemas de usabilidad ” (énfasis añadido) (Jeffries et al., 1991). Además, mientras que la evaluación heurística identificó más aspectos que el test de usabilidad, la evaluación heurística identificó más aspectos menores, y el test de usabilidad identificó más aspectos relevantes (Jeffries et al., 1991).
Desurvire et al. (1992) demostraron que los expertos identificaron más aspectos de usabilidad que los no expertos; el descubrimiento de Desurvire et al. refuerza los resultados dados por Nielsen (1992) que los usuarios expertos en usabilidad identifican más aspectos que los no expertos, y que los “doble expertos” –expertos en usabilidad que también son expertos en el dominio- encuentran más aspectos que los expertos en usabilidad. Jeffries y Desurvire (1992) apuntan que para beneficiarse por completo de la revisión heurística, los evaluadores deberían ser todos expertos, y el coste de expertos múltiples incrementará el coste de la revisión.
Cockton y Woolrych (2002) revisaron los métodos de usabilidad “rebajada” desde la perspectiva del análisis de coste-beneficio. Apuntan que los problemas del usuario real derivan de una interacción compleja entre el usuario y el sistema (Cockton y Woolrych 2002). Ellos creen que los métodos rebajados, incluyendo la revisión heurística, son demasiado simples para evaluar detalladamente esta interacción (Cockton y Woolrych 2002). Ellos concluyeron que estos métodos son tan propensos a error que el coste potencia sobrepasa de largo los beneficios (Cockton y Woolrych 2002). Cockton y Woolrych (2002) recomendaron que estos métodos “ deberían ser eliminados de las estanterías de la Interacción Hombre-Ordenador. ”
Molich y Dumas (2005) revisaron los resultados de la Evaluación Comparativa de Usabilidad 4 (CUE-4). En este estudio, 17 equipos de profesionales de la usabilidad evaluaron el sistema de reservas del Hotel Pennsylvania – www.hotelpenn.com (Molich y Dumas, 2005). Nueve de los equipos realizaron test de usabilidad y ocho equipos realizaron revisiones de expertos (Molich y Dumas, 2005). Mientras sólo un equipo de revisión de expertos realizó la revisión heurística como la describen Nielsen y Molich (1990), las conclusiones generales de Molich y Dumas sobre la comparación entre revisiones de expertos y el test de usabilidad son interesantes.
- No hay falsas alarmas, lo que contradice una creencia común de que las revisiones de expertos producen más falsas alarmas que los test de usabilidad (Molich y Dumas 2005).
- Las revisiones de expertos pueden ser más eficientes que los test de usabilidad, en términos de número de aspectos encontrados como una función de recursos utilizados (Molich y Dumas 2005).
- Las revisiones de expertos identifican la misma proporción de problemas graves y leves que los test de usabilidad (Molich y Dumas 2005), lo que contradice estudios anteriores.
Retorno de Inversión (ROI)
Jeffries and Desurvire (1992) point out that, if the results reported by Nielsen (1992) and Desurvire, Kondziela, and Atwood (1992) – that experts or double experts will find more issues than nonexperts – then heuristic evaluation becomes more of a Cadillac method than a discount method (Jeffries and Desurvire, 1992).
Como se menciona anteriormente, Cockton y Woolrych (2002) revisaron los métodos de usabilidad “rebajada” desde la perspectiva del análisis de coste-beneficio. Apuntan que los problemas del usuario real derivan de una interacción compleja entre el usuario y el sistema (Cockton y Woolrych 2002). Ellos creen que los métodos rebajados, incluyendo la revisión heurística, son demasiado simples para evaluar detalladamente esta interacción (Cockton y Woolrych 2002). Ellos concluyeron que estos métodos son tan propensos a error que el coste potencia sobrepasa de largo los beneficios (Cockton y Woolrych 2002).
Read More About It
Creadores / Populizadores
En la discusión sobre evaluación heurística, se han escrito muchos libros para la referencia de los practicantes de la usabilidad por Nielsen o Nielsen y Molich (Preece, Rogers y Sharp 2002; Dumas y Redish 1999, Mayhew, 1999).
Mientras que las heurísticas de Nielsen y Molich (o una de las versiones modificadas desarrolladas por Nielsen con otros colegas) son habitualmente pensadas como LAS heurísticas, existen pautas de diseño que han sido propuestas mucho antes de 1990. Cheriton (1976) propuso una lista de pautas para el diseño de interfaces para sistemas de tiempo compartido. GOMS, propuestas por Card, Moran y Newell (1983), modela los procesos cognitivos del usuario, usando tiempos de operaciones que se obtienen de los resultados de la investigación de la actividad humana. Norman (1983a, 1983b) propuso algunas reglas básicas de diseño de interfaz. Ben Shneiderman presentó por primera vez sus Usuario (Shneiderman, 1987)
Nielsen y Molich por su parte sitúan las heurísticas de usabilidad en un contexto más amplio. “ Idealmente la gente se comportaría en esas evaluaciones de acuerdo a determinadas normas, como las listadas en los documentos con las pautas típicas (por ejemplo, Smith y Dossier, 1986) …la mayoría de la gente probablemente realiza la evaluación heurística basándose en su propia intuición y sentido común. ” (Nielsen y Molich, 1990). Nielsen y Molich dividieron “ la complejidad de la base en dos órdenes de magnitud [para un documento con las pautas típicas] mediante la reducción a un pequeño grupo de 9 principios básicos de usabilidad ” (Molich y Nielsen, 1990). Esta descripción está en contraposición con la descripción propuesta de Molich y Dumas, en la cual la evaluación heurística se describe como un subconjunto de revisiones de expertos (Molich y Dumas 2005). En cualquier caso, aunque no haya una clara relación directa entre la evaluación heurística, los documentos con pautas y las revisiones de expertos, ciertamente están relacionados.
Referencias Autorizadas
Nielsen, J. (1989). Usability engineering at a discount. En G. Salvendy y M.J. Smith (Editores), Designing and using human-computer interfaces and knowledge based systems (pp 394-401). Amsterdam, Holanda: Elsevier Science Publishers, B.V.
Molich, R. & Nielsen, J. (1990). Improving a human computer dialogue. Communications of the ACM. 33(3). 338-348.
Nielsen, J. & Molich, R. (1990). Heuristic evaluation of user interfaces. Proceedings de la conferencia SIGCHI sobre factores humanos en sistemas de computación: Potenciando a la gente. Seattle, WA, USA. April, 1990. 249-256.
Nielsen, J. (1992). Finding usability problems through heuristic evaluation. Proceedings de la conferencia SIGCHI sobre factores humanos en sistemas de computación. Monterey, CA, USA, 1992. 373-380.
Estudios publicados
Cockton, G., Lavery, D., & Woolrych, A. (2003). Inspection-based methods. In J.A. Jacko & A. Sears (Eds.), The human-computer interaction handbook (pp. 1118-1138). Mahwah, NJ: Lawrence Erlbaum Associates, Publishers.
Molich, R. & Dumas, J.S. (2005). A comparison of Usability testing and expert reviews. En preparación.
Temas Relacionados
- Escenarios y rápida iteración: un método de usabilidad rebajada, usado para crear prototipos que reduzcan el nivel de funcionalidad y el número de características mediante el diseño del prototipo de trabajo sólo cuando el usuario sigue un guión previamente planeado (Nielsen, 1989).
- Pensamiento simplificado en voz alta: un método de usabilidad rebajada usado para conducir tests de usabilidad a pequeña escala. Nielsen recomienda 3 participantes. De acuerdo a su investigación, 3 participantes descubrirán la mitad de los problemas de usabilidad (Nielsen, 1989). Otra diferencia entre los estudios mediante el pensamiento simplificado en voz alta y los estudios de usabilidad tradicional es que el análisis se basa únicamente en las notas del facilitador. (Nielsen 1989). Porque no hay necesidad de equipo de grabación (y, por lo tanto, no es necesario gastar tiempo después revisando las grabaciones de la sesión), el acercamiento simplificado es menos caro que los estudios tradicionales (Nielsen 1989).
- Evaluación Heurística Participativa: Este método extiende la inspección heurística añadiendo varias heurísticas nuevas y usuarios reales al equipo de evaluación.
- Paseo cognitivo: se parece a la evaluación heurística en que la usabilidad es evaluada sin feedback de usuarios representativos. El paseo cognitivo fue propuesto por Lewis, Polson, Wharton y Rieman (1990) como una respuesta a la dificultad encontrada por los practicantes de usabilidad en la aplicación de modelos cognitivos al diseño de interfaz de usuario. El método se basa en el modelo de aprendizaje exploratorio desarrollado por Polson y Lewis, que supone que el usuario selecciona basándose en la expectación de que la acción le ayudará a conseguir su objetivo inmediato. (Lewis et al, 1990). La persona responsable de la creación de un aspecto de un sistema presenta el diseño propuesto a un grupo de compañeros (por ejemplo, un ingeniero de software presenta a otros ingenieros de software), quienes evalúan el diseño siguiendo una o más tareas específicas (Wharton, Rieman, Lewis y Polson 1994). El diseñador utiliza una lista de preguntas que recogen el pensamiento del proceso de los usuarios a medida que los usuarios tratan de conseguir su objetivo (Lewis et al. 1900). La presentación incluye las especificaciones del diseño del interfaz, un escenario de la tarea, descripciones de los usuarios anteriores, una descripción de las condiciones bajo las cuales el software será utilizado, y procedimientos basados en tareas (Wharton et al. 1994). Hay varias versiones del método del paseo cognitivo con sucesivas versiones centradas en hacer el método más usable para los practicantes que no estén bien formados en ciencia cognitiva.
- Test Acumulativo de Usabilidad: Un método de evaluación que produce feedback de usuarios representativos. La actuación del usuario y el comportamiento se observa y es grabado en un entorno controlado –el laboratorio de usabilidad (Preece, Rogers y Sharp, 2002). Los usuarios realizan tareas que reflejan el modo en que ellos usarían el producto en una situación real de la vida. (Preece, Rogers y Sharp, 2002). Como norma, los test de usabilidad miden la actuación en términos de tareas realizadas con éxito, número de errores y tiempo para completar tareas específicas (Preece, Rogers y Sharp, 2002). Algunos tests acumulativos comparan los resultados con una especificación de usabilidad que detalla lo que es considerado como aceptable para un producto. Para una visión general del test de usabilidad, se recomienda A Practical Guide to Usability Testing (Dumas & Redish, 1993).
- Revisión de Pautas: parecido a la evaluación heurística en que la usabilidad es evaluada sin feedback de usuarios representativos. Un método de evaluación en el que el evaluador comprueba el sistema de acuerdo a una lista de pautas establecidas (Shneiderman, 1998). [Nielsen y Molich (1990) se refieren a documentos con pautas en su explicación del método de evaluación heurística] Una lista completa de pautas puede incluir cientos o miles de elementos, y puede cubrir los siguientes temas: (1) palabras e iconos, (2) aspectos de plantillas, (3) aparatos de entrada y salida, (4) secuencias de acción, (5) entrenamiento (Shneiderman, 1998). Para un ejemplo de un documento con pautas, recomendamos http://www.hcibib.org/sam/index.html (Smith y Mosier, 1986).
- Análisis GOMS: se parece la evaluación heurística en que la usabilidad es evaluada sin feedback de usuarios representativos. El análisis GOMS se basa en la teoría predominante en psicología cognitiva, que considera al cerebro humano como un procesador de información con capacidad limitada (Card, Moran y Newell, 1983). GOMS es uno de los pocos métodos basado en teorías ampliamente conocidas disponibles para evaluar la usabilidad de la interfaz de los ordenadores (John y Kieras, 1996). Los componentes del modelo GOMS [una serie de Objetivos (Goals), un conjunto de Operaciones que los usuarios deben completar (Operators), un conjunto de Métodos para conseguir los objetivos (Methods) y una Conjunto de reglas de selección para seleccionar entre los métodos disponibles (Selection)] describen el proceso cognitivo que tiene lugar mientras el usuario completa una tarea (Card, Moran y Newell, 1983). Las estimaciones de tiempo se hacen a nivel de la operación (Card, Moran y Newell, 1983). El análisis se basa en la comparación de los tiempos de todas las operaciones agrupadas al método, regla de selección y nivel del objetivo (John, 1996). Para un ejemplo de operaciones y tiempos para el Modelo GOMS de Nivel de Pulsación de Teclas, nos referimos a Kieras (1993).