Tema4 > Cuarta Parte

T4 – Evaluación de la Usabilidad Técnicas y Métodos de Evaluación Elena García & Miguel-Ángel Sicilia

Contenidos (i) • Introducción: – Preliminares y definición – Formas de llevar a cabo la evaluación – Tipos de técnicas de evaluación

• Evaluación por Inspección – – – –

Evaluación heurística Paseo cognitiva Inspección de consistencia Inspección de estándares

– Inspección formal

Miguel-Angel Sicilia & Elena García - 2004-05

2

Contenidos (ii) • Evaluación por Indagación – Aproximaciones de campo • Observación de campo

– Aproximaciones en grupo • Grupos orientados

– Aproximaciones individuales • Cuestionarios • Entrevistas

Miguel-Angel Sicilia & Elena García - 2004-05

3

Contenidos (iii) • Pruebas de Usabilidad – – – – – –

Protocolo de pensamiento manifiesto Protocolo de preguntas Método tutorizado Método de descubrimiento conjunto Test retrospectivo Método de instrucción previa

Miguel-Angel Sicilia & Elena García - 2004-05

4

Prueba de Usabilidad • Se basa en el desarrollo de experimentos para obtener información específica acerca de un diseño. – Los experimentos se realizan con usuarios reales que ejecutan tareas reales.

• Permite obtener medidas cuantitativas de la usabilidad, además de identificar errores y la causa de los mismos. – Tiempo que se tarda en ejecutar una tarea. – Número de errores cometidos. – Grado de satisfacción del usuario. Miguel-Angel Sicilia & Elena García - 2004-05

5

Prueba de Usabilidad • ¿Cómo se lleva a cabo?. Se comprende de 7 fases: – Determinar qué queremos estudiar: • ¿Qué se quiere saber del producto? Própositos de carácter general. • Identificar objetivos más definidos

– Diseñar la prueba: • Identificar los usuarios que intervendrán: estudiar los usuarios “tipo” del producto. – Pueden depender de los objetivos identificados en la fase anterior.

• Determinar el diseño experimental: cómo ejecutaremos el experimento para eliminar las variables que no interesen. • Desarrollar los escenarios. Hay que especificar cada detalle necesario para poder llevarlo a cabo: – Documentación útil – Qué significa haber realizado correctamente la tarea, etc. Miguel-Angel Sicilia & Elena García - 2004-05

6

Prueba de Usabilidad • Especificar el aparato del experimento: software necesario, video cámaras, software de grabación… • Identificar y reclutar al personal del experimento. – Quién va a conducir la sesión, etc.

– Reclutar a los usuarios: • Realizar el reclutamiento a partir de una lista de candidatos que cumplan con todas las características del perfil. – Se puede recurrir a empresas de contratación externas. – Suelen recomendarse 4-5 evaluadores por perfil.

– Configurar el test: • Preparar el aparato del experimento. – Ademas del software necesario, hay que elaborar la lista de escenarios que tendrá que ejecutar el evaluador y un guión para la persona que conduzca el experimento. Miguel-Angel Sicilia & Elena García - 2004-05

7

Prueba de Usabilidad – Ejecutar el exprimento: • Preparar a los sujetos : – Enfatizar que se evlua el software, no a los sujetos. – Agradecer a los usuarios su participación. – Distribuir un pre-cuestionario para identificar el dominio de conocimiento y actitudes de los sujetos.

• Observar la ejecución de los usuarios y recoger los datos: – – – –

Se pueden utilizar distintas técnicas para guiar la sesión. El evaluador debe tomar notas. Suele ser recomendable no interferir en la acción del sujeto. Se puede solicitar comentarios del sujeto si éstos fueran de ayuda.

– Obtener información del sujeto. • Es recomendable dialogar con los usuarios tras cada tarea y al finalizar el test, para obtener sus impresiones. • Se puede utilizar un cuestioanrios de satisfacción port-tarea y/o post-test. Miguel-Angel Sicilia & Elena García - 2004-05

8

Prueba de Usabilidad – Analizar los datos: • Encontrar los grandes problemas, aquellos en los que casi todos los sujetos han tenido dificulta. – Siguiedo las notas tomadas se sabrá la cuasa del problema.

• Resumir los datos cuantitivos de la ejecución: – Es habitual tener medidas sobre la tasa de errores y el tiempo de ejecución. – Hay que tratar los datos estadísticamente: » Medias y desviaciones estándar. » Tratamiento de inferencia estadística: ¿cuán significativa es la medida?

• Resumir las datos cuantitativos de la ejecución: – Son los resultados de los cuestionarios de satisfacción o entrevistas. Miguel-Angel Sicilia & Elena García - 2004-05

9

Prueba de Usabilidad • ¿Cuándo utilizar la técnica? – En cualquier fase del cilcio de vida: • En fases tempranas es útil para encontrar errores de versiones previas o estudiar a la competencia. • En fases intermedias es útil para validar el diseño y refinarlo donde sea necasario. • En fases tardías es útil para asegurar que el producto cumple los objetivos fijados.

Miguel-Angel Sicilia & Elena García - 2004-05

10

Protocolo de Pensamiento Manifiesto • Durante el transcurso del test, donde el participante está realizando una tarea como parte de un escenario de usuario, se solicita de este que exprese en voz alta sus pensamientos, sensaciones y opiniones mientras interactúa con el producto. • Permite averiguar cómo el usuario enfoca la interacción y que consideraciones tiene en mente. – Es interesante recoger la secuencia de tareas que realiza el usuario en la ejecución del escenario.

• También es útil para recoger la terminología que utiliza el usuario y las funcionalidades que desearía tener.

Miguel-Angel Sicilia & Elena García - 2004-05

11

Protocolo de Preguntas • Lleva un paso más allá al protocolo del pensamiento manifestado al provocar las manifestaciones del usuario respecto del producto mediante la formulación de preguntas directas acerca del mismo: – “¿Cómo responderías a todos los destinatarios del el mensaje?”

• El grado de habilidad del sujeto para responder a las preguntas indica al evaluador qué partes de la interfaz son obvias y cuales no. • Permite identificar modelos mentales del usuario. Miguel-Angel Sicilia & Elena García - 2004-05

12

Método Tutorizado • El experimentador u otro experto van a contestar con la mayor precisión posible cualquier pregunta que formulen los usuarios participantes en el test de usabilidad del sistema. – Una variante es la que recoge datos de la interacción entre sujeto-sistema y sujeto-tutor.

• Hace el experimento mas “amiglable” que el resto de las técnicas • Se puede hacer que el tutor responda cosas distintas para la misma tarea y así poder evaluar la mejor de la opciones. Miguel-Angel Sicilia & Elena García - 2004-05

13

Método de Descubrimiento Conjunto • Dos participantes intentan realizar las tareas juntos mientras están siendo observados. – Tal circunstancia se aproxima a la situación real del contexto de uso y aporta más datos.

• Los participantes deben verbalizar sus opiniones y pensamientos. • Hace el experimento mas “amiglable” que el resto de las técnicas. • Está especialmente indicada en evaluación de software para trabajo cooperativo, groupware, etc. Miguel-Angel Sicilia & Elena García - 2004-05

14

Test Retrospectivo • No es una técnica de guiado del experimento meramente dicha. • Consiste en la revisión de los registros realizados durante el Test. – Frecuentemente, dicho test se habrá grabado en vídeo y se revisará la cinta, preferiblemente en compañía de los usuarios participantes. – Se pregunta al participante por qué estaba realizando una acción concreta, y se deja que el participante narre su proceso de interacción.

• Esta técnica aparece en combinación con otras, especialmente en aquellas en las que la interacción entre usuarios y conductores de test es limitada. Miguel-Angel Sicilia & Elena García - 2004-05

15

Método de Instrucción Previa • En una fase previa se permite a los participantes interaccionar con el sistema para adquirir cierta soltura en su manejo. – No tiene que ejecutar escenarios.

• Después, habrán de ayudar a un usuario inexperto a realizar las tareas que se le encomienden. • La actuación del participante queda limitada, pues no entrará en la dinámica de resolver problemas. Miguel-Angel Sicilia & Elena García - 2004-05

16