Hace un tiempo decidí recopilar las lecciones más importantes que había aprendido sobre investigación y pruebas con usuarios para productos de tecnología, nuevos y existentes, en un solo framework completo. Lo puse a prueba con equipos de varias empresas, incluyendo Voice123, Bunny Inc. y Torre. Después de años de ajustes, mejoras y validación, te lo comparto. Lo llamo Usuario.

Usuario describe distintos tipos de pruebas y su frecuencia según la etapa del producto. Algunas pruebas son para funcionalidades nuevas. Otras son para funcionalidades existentes. Todas se complementan y te van a ayudar a reducir posibles puntos ciegos.

Responsables

Según el tamaño del equipo, una o varias personas pueden ser responsables de las pruebas de abajo. En equipos pequeños, el product manager debería ser responsable de todas. Los equipos más grandes pueden delegar algunas en un diseñador de producto, y los todavía más grandes pueden tener un investigador UX dedicado.

Importante: este framework no incluye las pruebas que hacen los desarrolladores de software y los ingenieros de automatización de pruebas. Entre ellas están las pruebas automatizadas, de compatibilidad entre navegadores, de regresión, de vulnerabilidades y de rendimiento, entre otras.

Jobs to be done

Clayton Christensen, autor de The Innovator's Dilemma (en español, El dilema del innovador) y exprofesor de Harvard, planteó que para entender qué motiva a las personas a actuar, primero hay que entender qué es lo que necesitan lograr. Necesitas saber el por qué detrás del qué.

Christensen dice:

Cuando las personas necesitan lograr algo, básicamente contratan productos para que hagan ese trabajo por ellas… Si un [empresario] logra entender el trabajo, diseñar un producto y las experiencias de compra y uso para hacer ese trabajo, y entregarlo de una forma que refuerce el uso para el que fue pensado, entonces cuando los clientes necesiten lograr eso, van a contratar ese producto.

Esta teoría se conoce como "Jobs to Be Done" ("JTBD"), porque gira alrededor de una pregunta central: para qué trabajo está contratando una persona un producto? Cuál es el job to be done?

Christensen explica el concepto de JTBD en un video de 5 minutos sobre malteadas (en inglés):

Todas las pruebas que se describen abajo ocurren en el contexto de uno o varios jobs-to-be-done. Para qué trabajo está contratando tu usuario a tu producto?

Entregables

Según la prueba, puede haber hasta cuatro tipos de entregables:

  1. Un informe de la prueba: un resumen de la prueba realizada.
  2. Bugs: problemas del producto que no cumple sus especificaciones.
  3. Chores: problemas del producto aun cuando funciona según las especificaciones.
  4. Propuestas de nuevas funcionalidades: mejoras potenciales para que el product manager las considere.

Ciclo de pruebas

El ciclo de pruebas de Usuario. Antes de desarrollar la funcionalidad: pruebas de usabilidad y luego pruebas de valor; si alguna falla, se vuelve al inicio o a la mesa de diseño. Después de salir en vivo: pruebas exploratorias, análisis de sesiones de usuarios, pruebas de usabilidad otra vez, pruebas de valor otra vez, pruebas manuales de regresión, análisis de encuestas NPS, pruebas de accesibilidad, y se repite periódicamente.

Descripción de las pruebas

A. 👩‍💻 Pruebas de usabilidad para funcionalidades nuevas

Los equipos de producto diseñan formas de presentar la funcionalidad de un producto para que distintos tipos de usuarios entiendan cómo usarla. Las pruebas de usabilidad verifican que eso esté pasando de verdad. Muchas veces descubren requisitos del producto que faltaban y, si se hacen bien, también identifican requisitos que no son tan necesarios como se pensaba.

Cuando se desarrollan productos o funcionalidades nuevas, las pruebas de usabilidad empiezan con prototipos. El propósito del prototipo de usabilidad es tener algo para probar con personas reales. Los product managers deben planear varias iteraciones antes de llegar a una experiencia de usuario exitosa. Para efectos de las pruebas de usabilidad, está perfecto simular el procesamiento complicado del back-end: lo clave es evaluar la experiencia de usuario.

Las pruebas de usabilidad deben tener en cuenta la carga cognitiva. Una buena forma de probar la carga cognitiva es hacer pruebas con niños, adultos mayores o personas que se han tomado unos tragos.

Justo después de lanzar una funcionalidad nueva, hay que probarla otra vez con el producto real. Para más contexto, mira Experimento: un framework práctico de gestión de producto.

Idealmente, una prueba de usabilidad se hace con al menos diez personas: cinco con pantallas pequeñas (celulares) y cinco con pantallas grandes (computadores). A quienes hacen pruebas de usabilidad se les puede pagar o no. No tienen que ser usuarios potenciales reales de tus productos.

Melissa Gaviria en la mesa de un café con un computador portátil y una caja de donas
Melissa Gaviria, investigadora UX en Voice123, ofreciendo donas gratis para atraer personas para pruebas de usabilidad!

Considera usar servicios como userbob.com y usertesting.com para hacer pruebas con testers profesionales. Hasta puedes pedir testers adultos mayores (por desgracia, no puedes pedir personas que se hayan tomado unos tragos de más!). Ojo: estas plataformas suelen aclarar que sus usuarios no son expertos en usabilidad. Aunque eso sea cierto, estos testers hacen muchísimas pruebas y los califican por su trabajo, lo que los profesionaliza. La mayoría probablemente está en el nivel 3 de la competencia tecnológica de la OCDE (en inglés). Eso significa que están en el 5–8% superior de la población en cuanto a uso de computadores.

Además de lo anterior, si se puede, haz también pruebas de usabilidad con otros miembros de tu equipo. Sus aportes pueden ser muy valiosos.

Aunque los product managers tengan diseñadores de producto o investigadores UX en sus equipos, tienen que asegurarse de analizar cada una de las pruebas de usabilidad.

El libro de Marty Cagan, Inspired, tiene muchísima información valiosa sobre cómo hacer pruebas de usabilidad.

B. ❤️ Pruebas de valor para funcionalidades nuevas

Las pruebas de valor te ayudan a saber cuánto valoran los usuarios tu producto y qué tantas ganas tienen de usarlo. Normalmente se hacen justo después de las pruebas de usabilidad. Experimento da más contexto sobre esto.

Cuando se desarrollan productos o funcionalidades nuevas, estas pruebas pueden usar los mismos prototipos de las pruebas de usabilidad. En las pruebas de usabilidad estás viendo si los usuarios logran hacer las tareas necesarias; en las pruebas de valor estás viendo si de verdad les importan esas tareas y qué tan bien las resolviste.

Idealmente, una prueba de valor se hace con al menos cinco usuarios potenciales reales. A quienes hacen pruebas de valor no se les debe pagar. Pagarles, aunque sea con regalos que no esperaban, va a sesgar sus respuestas en tus pruebas actuales y futuras. La experiencia muestra que es mucho más difícil conseguir testers de valor que de usabilidad.

Los usuarios potenciales deben coincidir con tu perfil objetivo y no deben ser amigos ni familiares, aunque encajen en el perfil. Están sesgados o, como mínimo, saben demasiado. En tus pruebas buscas reacciones honestas de usuarios del mundo real, algo que simplemente no puedes conseguir de alguien que te conoce.

Aunque los product managers tengan diseñadores de producto o investigadores UX en sus equipos, tienen que asegurarse de estar en cada una de las pruebas de valor. Como dice Marty Cagan en Inspired: "Probar tus ideas con usuarios reales es probablemente la actividad más importante de tu trabajo como product manager".

Consulta Inspired para más información sobre cómo hacer pruebas de valor.

Tres personas en una videollamada
Daniela Ávila y Ana María Díaz, de Torre, haciendo una prueba de valor remota (gracias, Moritz, por dejarnos usar esta imagen)

C. 🔦 Pruebas exploratorias

Después de que la funcionalidad nueva se desarrolla y sale en vivo, puedes hacer pruebas exploratorias. Las pruebas exploratorias se tratan de descubrir, investigar y aprender. Le dan peso a tu libertad y tu responsabilidad como individuo. Los casos de prueba no se crean de antemano. En vez de eso, revisas tu producto sobre la marcha. Puedes anotar ideas de qué probar antes de ejecutar la prueba. El foco de las pruebas exploratorias está más en probar como una actividad de "pensar".

En las pruebas con guion, como las pruebas manuales de regresión que se describen más abajo, primero diseñas los casos de prueba y después los ejecutas. En cambio, las pruebas exploratorias son un proceso en el que diseñas y ejecutas las pruebas al mismo tiempo.

Idealmente, las pruebas exploratorias se hacen en todos los navegadores y plataformas que tengan una participación de mercado importante.

Para aprender a hacer pruebas exploratorias, mira esta guía (en inglés).

D. 📽 Análisis de sesiones de usuarios

Se aprende muchísimo viendo a usuarios reales usar tus productos. Hay herramientas que te permiten ver a visitantes individuales usar el sitio de tu producto como si estuvieras mirando por encima de su hombro. Herramientas como Hotjar e Inspectlet graban videos de tus visitantes mientras usan tus productos y te dejan ver todo lo que hacen: cada movimiento del mouse, cada scroll, cada clic y cada tecla. Se aprende mucho de estas sesiones, incluyendo posibles problemas de usabilidad.

Si el sitio de tu producto recibe muchos visitantes, tienes que ser inteligente al escoger qué sesiones revisar. Una encuesta de un clic que les pregunte a los usuarios cómo fue su experiencia usando tu producto te puede ayudar a identificar qué usuarios tuvieron una mala experiencia. Luego te puedes enfocar en analizar esas sesiones.

E. 🔁 Pruebas de valor periódicas

Estas pruebas son parecidas a las pruebas de valor de arriba, pero aplican a funcionalidades existentes. Requieren frecuencia (normalmente mensual o trimestral). Hay que hacerlas sobre las interacciones centrales y los embudos principales de cada producto. Así te aseguras de que estén bien optimizados.

Las pruebas de valor periódicas se deben hacer con usuarios en distintas etapas de tu embudo. Por ejemplo:

  • Usuarios adquiridos recientemente
  • Usuarios adquiridos que se atascaron y no se activaron
  • Usuarios activados recientemente
  • Usuarios activados que se atascaron y no se retuvieron
  • Usuarios retenidos
  • Usuarios que se retuvieron pero se fueron

También es un gran momento para aprender sobre tu competencia. Puedes preguntarles a los usuarios por sustitutos de tu producto y por nuevos jugadores en el mercado.

Una oficina con un participante remoto en una pantalla grande
Prueba de valor remota dirigida por Luisa Moscoso, CEO de Bunny Inc.

F. ↩️ Pruebas manuales de regresión

Las pruebas de regresión verifican que tu producto siga funcionando bien incluso después de cambiar (mejoras de software, parches, cambios de configuración, etc.) o de que cambie el entorno a su alrededor (nuevas versiones de navegadores, actualizaciones de servidores, etc.).

Durante las pruebas de regresión pueden aparecer bugs nuevos. Una de las principales razones para hacerlas es saber si un cambio en una parte del software afecta otras partes.

Las pruebas de regresión permiten probar un sistema de forma eficiente, escogiendo de forma sistemática el conjunto mínimo de pruebas necesario para cubrir bien un cambio en particular.

Las pruebas de regresión siguen un guion. Los guiones pueden ser casos de uso, casos de prueba e incluso wireframes.

Idealmente, las pruebas manuales de regresión se hacen en todos los navegadores y plataformas que tengan una participación de mercado importante.

Para más información, mira este artículo de Wikipedia.

Nota: los desarrolladores de software (o sus pares de control de calidad) también deben hacer pruebas de regresión a medida que cambian el producto. Que los product managers o los investigadores UX hagan estas pruebas no significa que los desarrolladores queden excluidos.

G. 🎚 Análisis de encuestas NPS

El Net Promoter Score (NPS) es un índice de -100 a 100 que mide qué tan dispuestos están los clientes a recomendar los productos o servicios de una empresa. Se usa como indicador de la satisfacción general del cliente con un producto o servicio y de su lealtad a la marca. Las encuestas NPS deben incluir una pregunta abierta para los detractores. Las respuestas deben normalizarse y analizarse periódicamente. Las respuestas de los detractores deben reenviarse de inmediato, e idealmente de forma automática, a tu equipo de éxito del cliente para que contacte a ese usuario rápido.

Si vas a armar un informe para compartir con otros, debería incluir:

  • Las etapas específicas de la experiencia de usuario en las que disparas las encuestas NPS.
  • Los canales usados para recoger los datos.
  • El % de usuarios en esa etapa que respondieron la encuesta.
  • El NPS y, si se puede, el NPS ponderado (donde asocias el peso al valor de vida del usuario).
  • Las respuestas más populares de los detractores, normalizadas y ordenadas. Esas respuestas se pueden usar luego para priorizar tus esfuerzos de producto.

Los productos con varios tipos de usuario van a necesitar varios informes.

Para aprender más sobre cómo configurar y analizar el NPS, mira este artículo (en inglés).

H. ♿️ Pruebas de accesibilidad

Las pruebas de accesibilidad se hacen para asegurar que la aplicación que se está probando la puedan usar personas con discapacidades, como problemas de audición o daltonismo, al igual que otros grupos en desventaja y los adultos mayores. Las personas con discapacidades usan tecnologías de asistencia que les ayudan a manejar un producto de software.

Para aprender a hacer pruebas de accesibilidad, mira este y este artículo (en inglés).

Gracias a Abe Duarte, Ana María Díaz, Andrés Cajiao, Andrés Pachón, Daniel García, Daniela Ávila, Lucho Molina, Melissa Gaviria, Omar Duque y Rodrigo Herrero por compartir conmigo conocimiento que hoy está en el corazón de este framework. Gracias a Carel F. Cronje por leer y comentar los borradores de este artículo.