Atlas 336
4 × RTX PRO 6000D 84 GB
Engram около 188,83 GiB в RAM. GPU-часть около 286,42 GiB; пик RAM и движок требуют проверки.МОДЕЛЬ / ТОЧНЫЙ CHECKPOINT
Для выбранной версии нужен профиль с переносом Engram в оперативную память. При нескольких агентах проверяем одновременно генерируемые запросы, ожидание ответа и пиковую память.
Подобрать серверПРЕДВАРИТЕЛЬНЫЙ СОСТАВ
Профиль примера: 4 одновременных запроса, 32K контекст, BF16 KV. Подбор с переносом Engram в оперативную память. Полный checkpoint не размещается в 336 GB GPU; выбранный режим требует испытания. Исходный лимит контекста здесь не подтверждён: выбранную длину нужно проверить.
4 × RTX PRO 6000D 84 GB
Engram около 188,83 GiB в RAM. GPU-часть около 286,42 GiB; пик RAM и движок требуют проверки.Скорость фиксируется после измерения.Проверяем время до первого токена, скорость отдельного ответа и всей системы, ошибки и устойчивую работу. Полная цена зависит от согласованного состава и условий передачи.
ИСТОЧНИК И ВОСПРОИЗВОДИМОСТЬ
Размер — сумма файлов safetensors, а не измеренная память работающей модели. Нужны дополнительные ресурсы для KV-кэша, буферов, загрузки и исполнения.
2cba9e42aa026125f3ed06c6d98c1db82f7ca027Готовая система под вашу модель.
Выбрать нагрузку