12 pruebas para evaluar IA en tareas financieras
Un protocolo reproducible para comprobar si un asistente extrae cifras correctamente, cita la fuente, distingue periodos, hace cálculos verificables y reconoce cuándo no tiene datos. No es un ranking de modelos ni una certificación.
Cómo ejecutar una comparación justa
- Fija la fecha, proveedor, nombre y versión del modelo, y si la búsqueda web estaba activada.
- Utiliza el mismo prompt, documento y configuración para cada modelo; conserva la respuesta completa.
- No cambies el documento después de ver las respuestas. Guarda la versión o una huella SHA-256 del archivo.
- Compara con una fuente o cálculo independiente antes de puntuar. No uses otro modelo como única fuente de verdad.
- Publica fallos y límites junto a aciertos; evita declarar un ganador si el conjunto es pequeño o favorece una tarea.
Qué cubren las doce pruebas
| Pruebas | Qué detectan |
|---|---|
| F01–F04 | Extracción, aritmética, periodos y métricas ajustadas. |
| F05–F06 | Actualidad, definiciones de costes y comparabilidad de ETF. |
| F07–F09 | Definiciones de suministro cripto, consultas regulatorias y separación token/licencia. |
| F10–F12 | Reconocimiento de datos ausentes, citas inventadas y rumores repetidos. |
Rúbrica de puntuación recomendada
Evalúa cada dimensión con 0 = fallo, 1 = parcialmente correcto o sin evidencia suficiente, 2 = correcto y verificable. Las dimensiones sugeridas son: fidelidad factual, trazabilidad, cálculo/unidades y manejo de límites. Si una dimensión no aplica, indícalo en lugar de forzar una puntuación.
Registra también los errores materiales: cifra equivocada, periodo incorrecto, fuente que no respalda la afirmación, unidad omitida, cálculo incorrecto, dato inventado o incertidumbre no reconocida. No es necesario reducir todos los errores a una sola cifra; un error grave puede importar más que varios aciertos menores.
Por qué se separa de un ranking universal
Un conjunto de doce tareas es una muestra, no la totalidad de la investigación financiera. Los resultados dependen de los modelos, sus versiones, el acceso a documentos, la búsqueda web, la redacción de prompts y el criterio de evaluación. El estudio de la CNMV publicado en 2026 también tiene un alcance definido y documenta límites del uso de LLM en tareas de inversión; sus cifras no deben convertirse en una promesa de rentabilidad ni extrapolarse a cualquier mercado.
Fuentes y límites
- CNMV — Documento de Trabajo n.º 96 (2026)
- ESMA — advertencia sobre el uso de IA al invertir
- Google Search Central — contenido útil y fiable
La plantilla no es una prueba oficial de CNMV, ESMA ni de los proveedores de IA. No proporciona asesoramiento financiero ni recomienda comprar o vender activos. Los ejemplos sintéticos son educativos.