QA para automatización con IA: verificar hechos e inspeccionar las fotos
Una reconstrucción de un sitio web con IA inventó una afirmación y eligió fotos inadecuadas. Esto fue lo que revelaron la revisión del material fuente y la apertura de las imágenes reales.
La IA puede reconstruir un sitio web, recorrer un archivo de vídeos y producir una página que parece convincente. También puede colar datos incorrectos en esa página y elegir fotos que no tienen nada que hacer ahí. La reconstrucción de mi sitio web hizo ambas cosas. Estaba orgulloso de lo que Arya construyó a partir de mis vídeos de YouTube, pero al revisar el resultado aparecieron errores que una página con apariencia de acabada no dejaba ver a simple vista.
Una biografía convincente puede contener igualmente una afirmación falsa
Una página decía que había ganado todos mis combates en cinturón blanco. Era falso: perdí muchos combates cuando empecé. Corregí la redacción para reflejar aquellas pérdidas a 170 lb y las victorias que llegaron más tarde a 185 lb.
La lección útil aquí tiene que ver con revisar la historia escrita por una IA. Un modelo puede convertir una colección real de vídeos en un resumen inexacto. La frase sonaba como un relato limpio de mi progresión, pero alteraba los hechos. Ver en una página a la persona correcta, el tema correcto y la historia general no basta para confirmar que cada afirmación sea verdadera.
En este caso, yo conocía la historia y pude detectar el error. Para un flujo de trabajo automatizado, eso sugiere un paso de revisión concreto: extraer las afirmaciones factuales y compararlas con el material original. Presta especial atención a las afirmaciones absolutas como «todos», fechas, cifras y descripciones de logros. Si una fuente no respalda la redacción, modifica la afirmación en lugar de rellenar el hueco con una historia verosímil.
Elegir fotos exige mirar las imágenes reales
Descargué mis datos de Facebook y le pedí a mi modelo local que señalara las fotos en las que salía yo solo. La selección resultante incluía imágenes en las que no salía yo solo. Arya marcó algunas de ellas, y decidí que eran aptas para usar. Otras elecciones eran claramente inapropiadas para el sitio web: un par de fotos familiares y una imagen de comida.
Son decisiones distintas. Una imagen puede no pasar un filtro literal de «solo yo» y aun así ser aceptable después de que la inspecciono. Una foto familiar puede ser una imagen válida de mi archivo y, aun así, no ser adecuada para esta página. Una foto de comida puede recuperarse correctamente de los datos sin aportar nada a la biografía. Encontrar un archivo es solo una parte de seleccionar un recurso.
La revisión necesita la foto real. Un nombre de archivo, una descripción del modelo o una puntuación de confianza no me dicen todo lo que necesito para decidir si pertenece a mi sitio web público. Necesito ver quién aparece en el encuadre, qué muestra la imagen y si ayuda a explicar la página. La aprobación humana también debe mantenerse separada de la clasificación inicial del modelo.
Usa las fotos como prueba sin inventar su contexto
Añadí fotos en las que aparezco a 170 lb y a 185 lb, incluida una de finales de mi etapa de cinturón blanco.
Ver esas diferentes versiones de mí mismo me ayudó a revisar cómo representaba la página mi historia.
La imagen y su contexto hacen trabajos distintos. La foto muestra lo que es visible; mi relato aporta detalles como el peso y el periodo. Un flujo de trabajo debería mantener esas fuentes juntas en lugar de pedirle a un modelo que adivine una fecha, un resultado o una historia personal solo por la apariencia. Mirar los píxeles es necesario, y comprobar la información que los acompaña también lo es.
Convertir la revisión en un proceso de QA repetible
Esta reconstrucción sugiere una lista de comprobación práctica para revisar trabajos de automatización similares:
- Comprobar las afirmaciones. Compara el texto generado con el vídeo relevante u otra fuente original. Corrige los resúmenes sin respaldo.
- Abre los recursos seleccionados. Inspecciona las imágenes de primera mano en lugar de aceptar la lista de selección como prueba.
- Aplica el propósito de la página. Decide si cada foto es relevante y apropiada para uso público, incluyendo quién más aparece en ella.
- Revisa la página terminada. Lee el texto corregido junto con las fotos elegidas para que el resultado combinado cuente la historia respaldada.
Esa lista de comprobación es la lección de flujo de trabajo de la revisión, más que una afirmación de que la automatización original ya hubiera realizado cada paso. La automatización hizo una gran cantidad de trabajo útil. La corrección de un dato y la elección de fotos inadecuadas muestran por qué la QA debe examinar su resultado directamente antes de dar ese trabajo por terminado.
Fuente: vídeo original, 1:03:05–1:07:25.