¿Siguen las IAs siendo loros estocásticos o han mejorado de forma efectiva en estos últimos años? ¿Cuánto lo han hecho? ¿Y cuáles? Estas son algunas de las grandes cuestiones acerca de de la inteligencia artificial actual. Para responderlas surgieron diversas pruebas o tests que intentan medir esa (comillas, comillas) «inteligencia» aparente de algún modo: desde el conocimiento enciclopédico hasta el más puro razonamiento abstracto, que está claro que les atraganta más. ¿Cuál es el estado actual?
Las pruebas tradicionales: preguntas y respuestas
Una de las pruebas más clásicas es el conocido Humanity’s Last Exam (HLE), una prueba de 2.500 preguntas sobre matemáticas, biología, historia, lenguas clásicas y muchas otras disciplinas, planteadas y verificadas por humanos. Tienen nivel para graduados, solo que los modelos se enfrentan a una amplia variedad de temas, que un humano probablemente no abarcaría. Hay otros como el Massive Multitask Language Understanding (MMLU) y similares.
En el HLE y en apenas un año los mejores modelos pasaron de contestar correctamente el 8 por ciento de las preguntas a situarse entre el 35 y el 50% a comienzos de 2026, superando lo que podría conseguir casi cualquier persona en un examen de ese tipo. Además de eso, en el último año se aceleró su eficiencia y mejoraron más de lo previsto. De momento ganan Claude Fable 5 y GPT-5.6 Sol, llegando ya casi al 60%, aunque usando herramientas, agentes, «desvíos» a otros modelos y otros truquis.
Una cuestión sobre el HLE es que tan pronto como un modelo ha tenido acceso a las respuestas es capaz de mejorar notablemente, dado que el asunto no deja de ser una acumulación de datos, algo que es su especialidad. Si un modelo usa ese «truco» o busca las respuestas en internet (generalmente se bloquean repositorios como Hugging Face durante los «exámenes») los resultados se consideran contaminados y no valen. La forma de evitarlo es revisar su razonamiento en busca de atajos. Además, el HLE tiene un conjunto de preguntas privadas, no publicadas, que da un valor más preciso, aunque el que se plasma en las tablas comparativas es el público.
Del «preguntas y respuestas» al razonamiento abstracto
Acumular muchos datos no equivale a comprender lo que son y lo que hay que hacer con ellos. Los modelos actuales siguen cayendo en trampas aparentemente triviales: pueden resolver cuestiones de cálculo avanzado, pero fallar al ordenar números, o equivocarse al contar las letras de una palabra (el famoso «¿cuántas R hay en strawberry?») En el vídeo de Half as interesting hay unos cuantos buenos ejemplos.
Por todo eso los expertos idearon otras pruebas, como el Abstraction and Reasoning Corpus for Artificial General Intelligence (ARC-AGI), orientados a medir la capacidad de «descubrir reglas nuevas», algo que se considera fundamental para alcanzar la inteligencia artificial general. En lugar de responder preguntas, la IA debe resolver juegos y rompecabezas visuales deduciendo la lógica a partir de unos pocos ejemplos. Es como los tests que hacen a los niños en el colegio o los que se usan para medir el C.I.
Muchos de estos desafíos resultan triviales para una persona humana, pero pueden requerir enormes recursos computacionales para un modelo de IA… Algo que asusta cuando se ven las cifras de coste en tokens y dólares que alcanzan algunos modelos.
Del ARC-AGI existen dos versiones más avanzadas llamadas ARC-AGI 2 y ARC-AGI 3 que ponen el listón todavía más alto: conceptos espaciales como «dentro» y «fuera», reglas lógicas más complicadas… Los de la versión 3 son como pequeños videojuegos sin instrucciones, donde hay que descubrir tanto las reglas como la forma de jugar.
Es divertido jugar con el ARC-AGI 3, y más si te gustan los juegos de este tipo, porque resulta muy entretenido: todo tiene su lógica, se asignan mentalmente roles y definiciones (entrada, salida, puerta, transportador, herramienta para girar piezas…) Y conviene afinar, porque a veces hay límites de movimientos. Tiene su curva de aprendizaje. Es fácil imaginar lo complicado que puede resultar para un modelo que tenga que reconocer todas las piezas de colores, adivinar lo que hay que hacer e inferir el papel de cada una paso a paso.
Los modelos enfrentados al ARC-AGI-3 apenas llegan al 2% de éxito, aunque GPT-5.6 Sol Max llega casi al 8%. Pero todavía están lejos de mostrar una inteligencia general comparable a la humana.
De momento queda claro que son buenos en pruebas de conocimientos y programación, pero siguen con dificultades en cuando al «sentido común» y el razonamiento abstracto, que incluso los niños humanos pueden superar sin muchos problemas. De momento, son pruebas mejores para ver los progresos de la IA y habrá que ver dentro de unos años (o meses) cómo va la cosa.
Relacionados:
- El test de Lovelace es una versión más exigente del test de Turing para las IAs, que los LLM actuales ya podrían haber superado
- Cruce de cables: ¿Puede ChatGPT haber superado ya el Test de Turing?
- El test de Turing inverso diseñado por una IA, que luego es respondido por humanos y por IAs y finalmente evaluado por la misma IA
- El Test de Turing
- Un Test de Turing mínimo en el que una sola palabra basta para distinguir humanos y máquinas
- OpenAI habla sobre sus planes para la inteligencia artificial general del futuro, incluyendo los riesgos que implica
- Un test de 15 preguntas sobre cómo ves la IA actual para descubrir cuál es tu actitud al respecto
