El Centro de Investigación de Modelos Fundacionales del departamento de Inteligencia Artificial de la Universidad de Stanford ha publicado un trabajo titulado Grading Foundation Model Provider’s Compliance with the Draft EU AI Act donde deja entrever lo que nos temíamos: que los modelos de IA actuales de las mayores empresas no cumplen en gran medida con los requisitos de esta Ley de IA de la UE, la primera normativa sobre inteligencia artificial como tal que se ha aprobado en Europa.
El trabajo es fácil de entender a simple vista: asigna una calificación o número de «estrellitas» entre 0 y 4 a cada apartado mencionado en la ley (filas) a cada uno de los modelos analizados (columnas), que provienen de diferentes empresas: GPT-4 de OpenAI, Stable Difussion v2 de Stability, Claude de Anthropic, PaLM 2 de Google, Bloom de Hugging Face, LLaMa de Meta/Facebook, Cohere y otros. Marcas que se echan en falta: Bing de Microsoft, porque utiliza GPT-4, WatsonX de IBM, que no ha entrado y Siri de Apple, que ni se ha considerado.
De los 48 puntos posibles los mejores modelos son los de Hugging Face (36 de 38), GPT-Neox (29) y PaLM 2 (27); los peores en cambio son Luminous (5 de 38), Anthropic (7 de 48) y Jurassic-2. Ojito con Hugging Face que está sorprendiendo de mucha gente con sus desarrollos abiertos y colaborativos.
Según cuenta el informe, la mayoría carecen de transparencia con respecto a los datos, cómo hacen sus cálculos y esconden sus algoritmos, cómo es su despliegue y otras características clave. Tampoco cumplen con los requisitos para describir el uso de los datos de entrenamiento: cuáles están protegidos por derechos de autor, cómo se evalúan y prueban los modelos, etcétera.
El artículo sugiere que esta Ley de IA europea, si se adopta a nivel global, podría aportar transparencia y responsabilidad a la industria, pero claro, estas cosas van por países/regiones y a veces quien más impedimentos pone es quien acaba retrasado en la carrera.
Relacionado:
