Saltar al contenido
Diploma

Evaluar Asistentes y Automatizaciones de IA con Casos de Prueba

Aprenderás a definir qué debe hacer un asistente, a escribir baterías de casos con criterios comprobables, a ejecutarlas de forma reproducible, a medir y analizar los fallos, a comparar versiones…

Iniciar sesión para acceder
Evaluar Asistentes y Automatizaciones de IA con Casos de Prueba
Lecciones 25
Formación Diploma
Tu progreso —

Qué aprenderás

  • Escribir una especificación y una batería de casos con cobertura de típicos, límites, ambiguos y fuera de alcance.
  • Evaluar con criterios binarios, rúbricas, fórmulas y, con calibración, con la IA como evaluadora.
  • Ejecutar baterías de forma reproducible, medir la variabilidad y analizar las causas de los fallos.
  • Comparar versiones y modelos con regresión, seguridad y umbrales fijados antes, y mantener la calidad en producción.

Contenido del curso

5 módulos · 25 lecciones

Módulo 01 Módulo 1 5
  1. 01 Por qué evaluar: los fallos típicos de un asistente de IA
  2. 02 Definir el comportamiento esperado antes de probar
  3. 03 Anatomía de un caso de prueba
  4. 04 Cobertura: casos típicos, límite, ambiguos y fuera de alcance
  5. 05 Tu primera batería de casos en una hoja de cálculo
Módulo 02 Módulo 2 5
  1. 06 Criterios comprobables: aprobado o suspenso por criterio
  2. 07 Rúbricas con niveles y ejemplos de referencia
  3. 08 Comprobaciones automáticas con fórmulas
  4. 09 La IA como evaluadora: cuándo sirve y cómo vigilarla
  5. 10 Acuerdo entre evaluadores y calibración
Módulo 03 Módulo 3 5
  1. 11 Ejecutar de forma reproducible: versión, fecha y condiciones
  2. 12 Variabilidad: por qué una sola ejecución no basta
  3. 13 Métricas: tasa de aprobado, gravedad y aciertos por categoría
  4. 14 Analizar los fallos y encontrar su causa
  5. 15 Informe de resultados de una versión
Módulo 04 Módulo 4 5
  1. 16 Cambiar una sola cosa: comparar dos versiones de instrucciones
  2. 17 Comparar modelos con la misma batería: calidad, coste y tiempo
  3. 18 Pruebas de regresión: lo que debe seguir funcionando
  4. 19 Probar la seguridad: inyección de instrucciones y datos personales
  5. 20 Decidir con umbrales fijados antes de probar
Módulo 05 Módulo 5 5
  1. 21 Evaluar una automatización con IA paso a paso
  2. 22 Revisar muestras reales con privacidad y revisión humana
  3. 23 Vigilar después del lanzamiento: indicadores y alertas
  4. 24 Mantener la batería viva: casos nuevos y versiones
  5. 25 Proyecto final: batería de 30 casos e informe comparativo