Суперкомп’ютер Frontier оснащений 9 472 процесорами Epyc 7A53 і 37 888 графічними процесорами Radeon Instinct. Однак учені використовували лише 3072 графічні процесори.
Дослідники з Національної лабораторії Ок-Рідж (США) навчили велику мовну модель (ВММ) на зразок ChatGPT за допомогою суперкомп’ютера Frontier. Для цього їм знадобилося всього 3072 з 37 888 графічних процесорів, передає Toms hardware.
Суперкомп’ютер Frontier оснащений 9 472 процесорами Epyc 7A53 і 37 888 графічними процесорами Radeon Instinct. Однак учені використовували тільки 3072 графічні процесори для навчання БЯМ, яка має в своєму розпорядженні 1 трлн параметрів, і 1024 — для навчання іншої нейромережі зі 175 млрд параметрів.
Для навчання такого великого ШІ-бота необхідний величезний обсяг пам’яті — мінімум 14 Тб. Тому дослідники задіяли кілька графічних процесорів MI250X із 64 Гб відеопам’яті кожен, але це призвело до нової проблеми: паралелізму. Використання більшої кількості графічних процесорів у ВММ вимагає кращої взаємодії для ефективного використання більшої кількості ресурсів. В іншому разі вся потужність графічного процесора буде витрачена даремно.
«Вчені вирішили цю проблему, використавши такі платформи, як Megatron-DeepSpeed і FSDP. У підсумку результати виявилися вельми вражаючими: під час збільшення розміру робочого навантаження більше графічних процесорів використовували максимально ефективно», — сказано в матеріалі.
Однак сильна ефективність масштабування була трохи нижчою: 89% для нейромережі з 175 млрд параметрів і 87% для ВММ з 1 трлн параметрів. Сильне масштабування передбачає збільшення кількості процесорів без зміни розміру робочого навантаження, і, відповідно до закону Амдала, більша кількість ядер стає менш корисною. Навіть 87% — гідний результат, враховуючи, скільки графічних процесорів вони використовували.
Команда також зазначила деякі проблеми з досягненням такої ефективності на суперкомп’ютері Frontier, заявивши, що, здебільшого, алгоритми машинного навчання в цьому масштабі функціонують тільки в рамках апаратно-програмної екосистеми CUDA Nvidia, що робить рішення AMD та Intel непридатними.
«Проте найшвидшим суперкомп’ютером у світі, як і раніше, залишається Frontier, оснащений процесорами AMD. На другому місці стоїть Aurora з чипами від Intel. Графічні процесори Nvidia використовуються в третьому за швидкістю суперкомп’ютері — Eagle. Якщо AMD та Intel хочуть зберегти передові позиції, їм доведеться наздогнати програмні рішення Nvidia», — резюмували автори статті.
Источник: focus.ua