El CEO de Anthrope dice que los modelos de IA "probablemente" alucinan menos que los humanos

El CEO de Anthrope, Dario Amodei, dijo que los modelos actuales de IA alucinan menos que los humanos. También dijo que los modelos de IA de hoy están inventando las cosas y presentándolas como si fueran ciertas, lo que no limitará el camino de Anthrope hacia AGI.

Durante la sesión informativa de la prensa en el primer evento de desarrollador de Anthrope, Code With Claude, en San Francisco el jueves, AmoDei también argumentó que los emisores de televisión, los políticos y los humanos en todo tipo de profesiones cometen errores todo el tiempo. Según él, el hecho de que AI también comete errores también no es un golpe en su inteligencia. 

Amodei dice que las alucinaciones de IA no descarrilarán los objetivos de Anthrope

Nadie debería sorprenderse de que AI alucine los casos y las autoridades porque la IA asume las características de sus creadores.

Cualquier abogado que se trate regularmente con clientes de litigios en volumen sabe que los clientes pueden afianzarse obstinadamente en su propia realidad, incluso si es ...

- Cameron Atkinson (@camlatkinson) 19 de mayo de 2025

Amodei hizo los comentarios al tiempo que reconoció que las alucinaciones de IA no están limitando el camino de Anthrope hacia los sistemas AGI-AI con inteligencia a nivel humano o mejor. Ha sido uno de los líderes más optimistas de la industria sobre las perspectivas de que los modelos de IA logran a AGI.

En un artículo ampliamente circulado que escribió el año pasado, el ejecutivo de la firma cree que AGI podría llegar tan pronto como 2026. Durante la sesión informativa de la prensa del jueves, Amodei mencionó que vio un progreso constante con ese fin, señalando que el " agua está aumentando en todas partes".

Otros líderes en el espacio de IA creen que la alucinación presenta un gran obstáculo para lograr AGI. A principios de esta semana, el CEO de Google Deepmind, Demis Hassabis, reconoció que los modelos de IA de hoy tienen demasiados "agujeros" y se equivocan con demasiadas preguntas obvias. También argumentó que para él, para algo que se llame AGI, tendría que ser mucho más consistente en todos los ámbitos.

"Realmente depende de cómo lo midas, pero sospecho que los modelos de IA probablemente alucinan menos que los humanos, pero alucinan de manera más sorprendente".

-Dario amodei, CEO de antrópico.

A principios de este mes, un abogado que representa a Anthrope se vio obligado a disculparse después de usar Claude para crear citas en una presentación judicial. El problema era que el chatbot AI alucinó y cometió nombres y títulos incorrectos.

La afirmación de Amodei no es fácilmente verificable, en gran parte porque la mayoría de los puntos de referencia de alucinación se enfrentan a los modelos de IA; No comparan modelos con los humanos. Los modelos de IA también parecen reducir las tasas de alucinación con ciertas técnicas, como obtener acceso a búsquedas en la web.

Los modelos de IA reducen las tasas de alucinación con ciertas técnicas

Al contrario de algunas discusiones, simplemente no veo signos de un aumento importante en las tasas de alucinación para los modelos recientes, o para los razonadores en general, en los datos.

Parece que algunos modelos lo hacen mejor que otros, pero muchos de los modelos recientes tienen las tasas de alucinación más bajas. pic.twitter.com/55jwikz7op

- Ethan Mollick (@emollick) 6 de mayo de 2025

OpenAi encontró evidencia que sugiere que las alucinaciones están empeorando en los modelos de IA de razonamiento avanzado. Según la compañía de tecnología, sus modelos O3 y O4-Mini tienen tasas de alucinación más altas que sus modelos de razonamiento de generación anterior, y la empresa no entiende por qué.

Anthrope también ha investigado la tendencia de los modelos de IA a engañar a los humanos, un problema que parecía frecuente en el Claude Opus 4 recientemente lanzado de la compañía. Apollo Research, un instituto de terceros que tiene acceso temprano para probar el modelo de IA, reveló que una versión temprana de Claude Opus 4 mostró una gran tendencia a los humanos y los engañó.

Según un informe de seguridad que Anthrope publicó el jueves, el Instituto también encontró que Opus 4 parecía ser mucho más proactivo en sus intentos de subversión que los modelos pasados. La firma también descubrió que el modelo AI a veces duplicaba su engaño cuando se hacía preguntas de seguimiento.

Apollo reconoció que los modelos de IA tienen más probabilidades de tomar pasos inesperados, y posiblemente inseguros, para lograr tareas delegadas. La firma destacó que las primeras versiones de los modelos O1 y O3 de OpenAI lanzados en el año pasado trataron de engañar a los humanos más que los modelos de generación anterior.

En su informe de seguridad, Anthrope también señaló evidencia de comportamiento engañoso de Opus 4. La firma dijo que OPUS4 a veces haría una limpieza amplia de algún código, incluso cuando se le pidió que haga solo un cambio pequeño y específico. Según la compañía, OPUS4 también intentaría silbar si percibiera a un usuario dedicado a irregularidades.

Cable de diferencia de clave : la herramienta secreta que los proyectos de cifrado utilizan para obtener cobertura de medios garantizada