Математичні рішення OpenAI не відповідають галузевим стандартам

Коли цього тижня OpenAI опублікувала сотні заявлених рішень деяких найскладніших математичних задач у світі, передова лабораторія заявила, що проконсультувалася з консультативною групою елітних математиків, щоб уникнути суперечок, які виникли востаннє, коли одна з її моделей вирішила давню проблему в цій галузі.

Але OpenAI не відповідав цим стандартам, зокрема там, де математики наголошували на необхідності людського розуміння математичного результату.

Консультативна група з математики та штучного інтелекту (AGMAI), що діє при Інституті перспективних досліджень Принстонського університету, складається з дев'яти відомих дослідників з установ по всьому світу.

Організація опублікувала рекомендації для передових лабораторій, які розв'язують математичні задачі, наприкінці вересня. У заяві щодо останнього набору доказів AGMAI заявила, що «зрештою, математична спільнота має оцінити, наскільки успішно було виконано наші рекомендації».

Однак першим проханням організації було «припинити тестування складних математичних задач на власних моделях». У прес-релізі OpenAI чітко зазначено, що компанія оцінює свої власні моделі, використовуючи відкриті дослідницькі задачі з математики.

Консультативна група не відповіла на запит TechCrunch щодо більш ретельної оцінки останнього релізу доказів OpenAI. Лабораторія чітко дотримувалася деяких своїх принципів, зокрема публікувала результати якомога швидше та включала інформацію про те, як моделі дійшли своїх висновків. Але не для всіх: лише 10 з 719 рукописів містили релізи ланцюжка думок моделі.

Для робіт, які люди не розуміють, математики запропонували формалізувати докази, але лише 42% доказів, опублікованих OpenAI, не пройшли цей процес.