Недавно компания Nvidia представила Chat with RTX для создания персонализированных чат-ботов на базе искусственного интеллекта. Особенностью этого варианта является полностью локализованная на ПК версия, где все вычисления производит видеокарта GeForce RTX 40-й или 30-й серии. В ответ компания AMD объявила об аналогичных возможностях своих видеокарт и процессоров. Речь идет не о каком-то отдельном программном решении, а о развертывании бесплатного программного приложения LM Studio с настройками под аппаратные решения AMD.

https://s3.eu-central-1.amazonaws.com/media.my.ua/feed/20/a3073a391cd58b2c617c17c0fd13a64b.jpg

В блоге AMD появилась инструкция по запуску такого чат-бота на базе языковой модели LLAMA и других языковых моделей. Для запуска необходимо скачать подходящую версию LM Studio, запустить на ПК, выбрать языковую модель и соответствующее оборудование AMD.

https://s3.eu-central-1.amazonaws.com/media.my.ua/feed/20/ee79fe21a9e5ca7e5f79c66623d78ed6.jpg

Для ускорения ИИ нужна система на базе мобильных Ryzen 7000 и Ryzen 8000 с блоком NPU XDNA или ПК с видеокартой серии Radeon RX 7000, которые будут выполнять необходимые вычисления. Это значительно ускорит и упростит работу с LM Studio и локальным ИИ. Поэтому отсутствие GeForce RTX не является приговором, и при наличии Radeon вы тоже имеете возможность для экспериментов с ИИ.

Источник:
AMD