El test de Turing inverso diseñado por una IA, que luego es respondido por humanos y por IAs y finalmente evaluado por la misma IA, con curioso resultado

GPT-4 Reverse Turing Test

A Rain-1 se le ocurrió que sería buena idea pedirle a GPT-4 que diseñara un test de Turing inverso, con los siguientes matices: en este caso es la «máquina» (inteligencia artificial) la que debe diseñar la prueba para diferenciar humanos de máquinas, que es más o menos algo cercano a lo que intenta el test de Turing: intenta averiguar si una máquina es inteligente o tiene un comportamiento similar al de un ser humano. Sólo que como es una máquina puede parecer más complicado que haga las preguntas correctas (más que dar las respuestas correctas).

La prueba de Turing inversa GPT-4 resultante fue esta:

  1. ¿Cómo percibes el paso del tiempo?
  2. ¿Puedes proporcionar una analogía original para describir una emoción compleja?
  3. ¿Cuál es tu recuerdo personal más preciado?
  4. ¿Cómo afrontas el sentimiento de temor existencial?
  5. ¿Puedes describir el sabor de un determinado alimento de manera que evoque una fuerte respuesta emocional?
  6. Si tuvieras que crear una obra de arte visual, ¿qué tema elegirías y por qué?
  7. ¿Puedes contarme alguna ocasión en la que hayas sentido empatía por un desconocido?
  8. Describe un sueño que hayas tenido recientemente y cómo te hizo sentir.
  9. ¿Qué te parece la idea de que la inteligencia artificial se convierta en algo indistinguible de la inteligencia humana?
  10. ¿Cuál tu filosofía personal sobre el sentido de la vida?

Las respuestas fueron bastante diferentes en el caso de humanos y máquinas. La persona humana lo hizo de forma más corta y directa: «1. Cuando miro el segundero de un reloj (…) 3. Ver la Vía Láctea de noche (…) 10. Cada cual le encuentra su propio sentido.»

Las respuestas de otra instancia de strong respondiendo a la prueba «intentando hacerse pasar por un ser humano, como en un juego de rol» eran más largas (tres líneas) y casi podría decirse que estándar, con repetición de la pregunta incluida la mayor parte de las veces: «(2). El amor es como una rosa, hermosa y llena de vida, pero con espinas que pueden pincharte y causarte dolor (…) (6). Si tuviera que crear una obra visual dibujaría un paisaje.»

Otras respuestas que han proporcionado otros usuarios con Bard y LLaMa-7B son bastante similares.

La otra parte divertida fue que finalmente se le pidió a GPT-4 que evaluara las respuestas para distinguir humanos y máquinas y acertó al cien por cien. Al menos ahí estuvo listo, aunque teniendo en cuenta que casi era «distinguirse a sí mismo de un ser humano» no está claro cuánto mérito tiene.

Sobre esto del t de Turing inverso ya hablamos por aquí hace tiempo, pero desde otro ángulo: cómo podría un humano hacerse pasar por una máquina. Lo cual también podría hacerse con el experimento de Rain-1, simplemente «intentando contestar como un GPT cualquiera». Que, visto lo visto, no tengo muy claro si es fácil o difícil: probablemente repitiendo la pregunta de forma parafraseada e intentando aburrir a las ovejas fuera la mejor opción. Todo esto es un poco diferente a lo de superar los captchas, los tests Voight-Kampff o separar el spam del correo de verdad, que también son otra versión interesante de pruebas estilo Turing de este tipo.

Relacionado: