В последнем обновлении проекта vLLM, разработанного для запуска AI моделей на собственном оборудовании, добавлена поддержка нового графического процессора NVIDIA GB10. Это открывает новые возможности для пользователей, желающих использовать современные AI технологии на своих системах.
Что произошло
Techno Tim анонсировал создание vllm-gb10 — Docker-образа, специально разработанного для работы с архитектурой SM121, используемой в графических процессорах NVIDIA GB10. Этот проект стал ответом на необходимость в поддержке нового оборудования, так как существующие версии vLLM не имели нативной поддержки для GB10. Теперь пользователи могут быстро развернуть vLLM на своих системах, таких как DGX Spark, с минимальными усилиями.
Технические детали
vLLM представляет собой движок для выполнения и обслуживания AI моделей, который может взаимодействовать с приложениями через API, совместимый с OpenAI. GB10 — это суперчип, который сочетает в себе GPU Blackwell и 20-ядерный Arm CPU с 128 ГБ унифицированной памяти. В отличие от традиционных GPU, GB10 предлагает улучшенные вычислительные возможности и производительность.
Создание vllm-gb10 включает в себя:
- Построение Docker-образа, который максимально приближен к upstream версии vLLM.
- Автоматизированное тестирование образа с использованием реальных моделей перед его выпуском.
- Использование предоставленного NVIDIA DGX Spark как самохостящегося GitHub Actions runner для автоматизации сборки и тестирования.
Проект включает в себя тестирование различных архитектур моделей, таких как dense модели, MoE, Mamba и другие, что позволяет обеспечить совместимость и стабильность работы.
Риски и ограничения
Несмотря на значительные улучшения, существуют некоторые риски и ограничения:
- Текущая версия vLLM для GB10 требует наличия специального оборудования, что может ограничить доступность для некоторых пользователей.
- Процесс сборки и тестирования может занять значительное время, особенно при проверке на нескольких моделях.
- Хотя проект стремится оставаться близким к upstream, изменения в основной версии могут влиять на стабильность и совместимость vllm-gb10.
Практика для HomeLab
Для пользователей HomeLab, желающих использовать vLLM на своих системах с GB10, рекомендуется:
1. Убедиться, что оборудование совместимо с архитектурой GB10.
2. Использовать предоставленный Docker-образ vllm-gb10 для быстрого развертывания.
3. Следить за обновлениями и тестами, которые публикуются вместе с новыми версиями, чтобы быть в курсе изменений и улучшений.
4. Рассмотреть возможность автоматизации тестирования своих моделей, чтобы гарантировать их работоспособность с новыми версиями vLLM.
Вывод
С добавлением поддержки NVIDIA GB10, проект vLLM значительно расширяет свои возможности для пользователей, работающих с AI моделями. Автоматизация тестирования и использование современного оборудования делают этот инструмент более доступным и надежным для разработчиков и исследователей в области AI.