Studio 288
4 × RTX PRO 5000 Blackwell 72 GB
4 независимые копии модели; распределение запросов нужно проверить.МОДЕЛЬ / ТОЧНЫЙ CHECKPOINT
Исходный BF16 checkpoint для задач с кодом, текстом и изображениями. Длинный контекст и несколько запросов требуют отдельной памяти помимо весов.
Подобрать серверПРЕДВАРИТЕЛЬНЫЙ СОСТАВ
Профиль примера: 4 одновременных запроса, 32K контекст, BF16 KV. Предварительный расчёт по точному checkpoint. Скорость, реальная память и выбранная нагрузка пока не измерены.
4 × RTX PRO 5000 Blackwell 72 GB
4 независимые копии модели; распределение запросов нужно проверить.2 × RTX PRO 5000 Blackwell 72 GB
2 независимые копии модели; распределение запросов нужно проверить.2 × RTX PRO 6000 Blackwell Workstation 96 GB
2 независимые копии модели; распределение запросов нужно проверить.Скорость фиксируется после измерения.Проверяем время до первого токена, скорость отдельного ответа и всей системы, ошибки и устойчивую работу. Полная цена зависит от согласованного состава и условий передачи.
ИСТОЧНИК И ВОСПРОИЗВОДИМОСТЬ
Размер — сумма файлов safetensors, а не измеренная память работающей модели. Нужны дополнительные ресурсы для KV-кэша, буферов, загрузки и исполнения.
1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0Готовая система под вашу модель.
Выбрать нагрузку