Atlas 336
4 × RTX PRO 6000D 84 GB
Одна копия модели. Контекст и выбранную нагрузку проверяем испытанием.МОДЕЛЬ / ТОЧНЫЙ CHECKPOINT
Около 305,79 GiB файлов весов. Платформа 336 GB проходит предварительное сравнение объёмов, но запас до кэша и буферов невелик. Нужна проверка фактического размещения.
Подобрать серверПРЕДВАРИТЕЛЬНЫЙ СОСТАВ
Профиль примера: 4 одновременных запроса, 32K контекст, BF16 KV. Предварительный расчёт по точному checkpoint. Скорость, реальная память и выбранная нагрузка пока не измерены. Исходный лимит контекста здесь не подтверждён: выбранную длину нужно проверить.
4 × RTX PRO 6000D 84 GB
Одна копия модели. Контекст и выбранную нагрузку проверяем испытанием.Скорость фиксируется после измерения.Проверяем время до первого токена, скорость отдельного ответа и всей системы, ошибки и устойчивую работу. Полная цена зависит от согласованного состава и условий передачи.
ИСТОЧНИК И ВОСПРОИЗВОДИМОСТЬ
Размер — сумма файлов safetensors, а не измеренная память работающей модели. Нужны дополнительные ресурсы для KV-кэша, буферов, загрузки и исполнения.
eb9eb208eb0d988989d07a6a12d0fdeb5f52574aГотовая система под вашу модель.
Выбрать нагрузку