Отрасль искусственного интеллекта не сможет в течение длительного времени поддерживать бурный рост показателей у рассуждающих моделей, гласит аналитический доклад Epoch AI — некоммерческого исследовательского института в области ИИ. Эксперты организации сделали вывод, что уже через год прогресс в рассуждающих моделях может замедлиться.
Рассуждающие модели, такие как OpenAI o3, в последние месяцы стали основным фактором развития технологий в области ИИ — они значительно преуспели в математике и программировании. Эти модели активно пользуются вычислительным аппаратом, но для подготовки ответа требуют больше времени, чем традиционные системы. OpenAI, по её собственным словам, при обучении o3 использовала в десять раз больше вычислительных ресурсов, чем при разработке её предшественницы o1.
В Epoch считают, что значительная часть этих ресурсов использовалась при обучении с подкреплением — это подтвердил научный сотрудник OpenAI Дэн Робертс (Dan Roberts), который недавно заявил, что компания планирует отдать приоритет этапу обучения с подкреплением, причём на этом этапе будет использоваться больше вычислительных ресурсов, чем на этапе первоначального обучения модели. Но существует и верхняя граница того, какой объём вычислительных ресурсов можно применить при обучении с подкреплением, уверены в Epoch.
Прирост производительности при стандартном обучении модели ИИ в настоящее время ежегодно увеличивается четырёхкратно, указывает автор доклада Джош Ю (Josh You), тогда как прирост производительности при обучении с подкреплением увеличивается десятикратно каждые 3–5 месяцев. Такими темпами отрасль ИИ достигнет верхней границы к 2026 году, считает эксперт, — его позиция частично основана на предположениях и частично исходит из публичных комментариев, которые давали руководители компаний из отрасли ИИ. Вскоре дальнейшее развитие моделей может оказаться сложным по причинам, не связанным с наличием вычислительных ресурсов.
Признаки того, что рассуждающие модели в ближайшем будущем могут достичь какого-то предела, вероятно, породят беспокойство в отрасли, которая вложила огромные ресурсы в разработку таких систем. Исследования уже показали, что рассуждающие модели ИИ, запуск которых оказывается чрезвычайно дорогостоящим, имеют серьёзные недостатки — в частности, у них чаще встречаются галлюцинации, чем у обычных моделей.