Studio 288
4 × RTX PRO 5000 Blackwell 72 GB
Одна копия модели. Контекст и выбранную нагрузку проверяем испытанием.МОДЕЛЬ / ТОЧНЫЙ CHECKPOINT
Для официального FP8 checkpoint рассматриваем четырёхкарточные платформы. Контекст, рабочие инструменты и параллельную нагрузку фиксируем в программе испытания.
Подобрать серверПРЕДВАРИТЕЛЬНЫЙ СОСТАВ
Профиль примера: 4 одновременных запроса, 32K контекст, BF16 KV. Предварительный расчёт по точному checkpoint. Скорость, реальная память и выбранная нагрузка пока не измерены. Исходный лимит контекста здесь не подтверждён: выбранную длину нужно проверить.
4 × RTX PRO 5000 Blackwell 72 GB
Одна копия модели. Контекст и выбранную нагрузку проверяем испытанием.4 × RTX PRO 6000D 84 GB
Одна копия модели. Контекст и выбранную нагрузку проверяем испытанием.Скорость фиксируется после измерения.Проверяем время до первого токена, скорость отдельного ответа и всей системы, ошибки и устойчивую работу. Полная цена зависит от согласованного состава и условий передачи.
ИСТОЧНИК И ВОСПРОИЗВОДИМОСТЬ
Размер — сумма файлов safetensors, а не измеренная память работающей модели. Нужны дополнительные ресурсы для KV-кэша, буферов, загрузки и исполнения.
d494266a4affc0d2995ba1fa35c8481cbd84294bГотовая система под вашу модель.
Выбрать нагрузку