Новое исследование показывает, что предоставление системам искусственного интеллекта «внутреннего монолога» делает их результаты значительно лучше. По сути, искусственный интеллект научили думать, прежде чем отвечать на запросы, подобно тому, как люди думают о том, что должны сказать дальше, прежде чем говорить. Это отличается от того, как ведут себя популярные языковые модели ИИ, такие как ChatGPT. Последние не «думают» о том, что они пишут, и не предусматривают различных возможностей для последующих шагов в разговоре.
Новый метод под названием Quiet-STaR дает команду системе ИИ параллельно генерировать множество внутренних аргументов, прежде чем ответить на запрос. Когда ИИ отвечает на подсказки, он генерирует много вариантов и выводит лучший ответ. В конце концов, искусственный интеллект учится, отбрасывая варианты, которые оказались неверными. По сути, метод обучения дает моделям ИИ способность предсказывать будущие разговоры и учиться на текущих.
Исследователи из Стэнфордского университета и компании Notbad AI применили алгоритм Quiet-STaR к Mistral 7B, большой языковой модели с открытым исходным кодом, и опубликовали результаты на arXiv. Версия Mistral 7B, обученная Quiet-STaR, набрала 47,2% результатов в тесте на аргументацию против 36,3% до какого-либо обучения. Модель все равно провалила школьный тест по математике, получив 10,9%. Но это почти вдвое больше, чем результат в 5,9% в начальной версии.
Такие модели, как ChatGPT и Gemini, не соотносят данные со здравым смыслом или контекстом, поэтому фактически не понимают собственных ответов, просто генерируя слова. Предыдущие попытки улучшить способность «думать» языковых моделей были очень специализированными и не могли быть применены к различным моделям ИИ.
Алгоритм самообучения STaR, который исследователи использовали как основу для своей работы, является одним из примеров такого обучения, но и его сдерживают эти ограничения. Ученые, разработавшие Quiet-STaR, назвали метод так, поскольку работа STaR происходила в фоновом режиме. Это может сработать с различными моделями, независимо от исходных данных обучения. Теперь они хотят исследовать, как подобные методы могут уменьшить разрыв между системами искусственного интеллекта на основе нейронных сетей и человеческими возможностями рассуждения.
Источник: Live Sciense