El modelo o3 más fuerte de OpenAI ha sido expuesto por fraude, obteniendo acceso privilegiado al banco de preguntas del examen FrontierMath con anticipación

Un contratista de EpochAI llamado "Meemi" reveló en el foro Less Wrong que OpenAI no solo proporcionó apoyo financiero para la prueba de referencia FrontierMath, sino que también obtuvo acceso privilegiado al banco de preguntas de la prueba.

Tamay Besiroglu, Subdirector y uno de los cofundadores de EpochAI, pronto admitió esto en la plataforma X. Cometimos un error al no divulgar la participación de OpenAI en FrontierMath antes. Nuestro contrato nos prohibía hacerlo antes de que se lanzara o3. En retrospectiva, deberíamos haber luchado más por la transparencia antes. Reconocemos esto y prometemos hacerlo mejor en el futuro.

Elliot Glazer, Jefe de Matemáticas en EpochAI, reconoció que no divulgó proactivamente información sobre la financiación de la industria durante el proyecto y se disculpó con los matemáticos que podrían no haber participado si lo hubieran sabido de antemano. Con respecto a las puntuaciones de o3, expresó confianza en la precisión de las puntuaciones reportadas por OpenAI, pero enfatizó que EpochAI necesita verificar a través de un conjunto de pruebas de retención independiente que se está desarrollando y prometió que las puntuaciones de evaluación de este conjunto se harán públicas. Cuando se le preguntó sobre el estado de este conjunto de retención, Glazer aclaró que todavía está en desarrollo en lugar de completado.

Se informa que FrontierMath es un punto de referencia de evaluación de la capacidad de razonamiento matemático avanzado altamente ponderado. Fue creado conjuntamente por EpochAI con la participación de más de 60 matemáticos de primer nivel, incluidos varios ganadores de la Medalla Fields y experimentados creadores de problemas para competiciones de la Olimpiada Matemática Internacional.