Перейти к основному содержимому

Требования к серверу

Характеристики​

Для установки платформы Compressa рекомендуется сервер со следующими характеристиками:

  • Linux-сервер
  • 3 GPU (видеокарты) A100 40GB
    • 1 - для LLM
    • 2 - для эмбеддингов
    • 3 - для ETL, Rerank, Audio
  • 8 потоков CPU
  • 160 GB RAM
  • 1 TB места на диске

Возможна установка модели эмбеддингов, реранжирования и аудио на одну GPU, однако производительность и надежность могут быть ниже.

Если вас устраивает более низкая производительность / качество ответов или вы не будете устанавливать данный модуль, требования к серверу могут быть снижены.

Данная конфигурация имеет ограничения по нагрузке. При масштабировании вам может понадобится расширить доступные мощности.

Драйвера CUDA​

Необходимо установить последние совместимые драйвера.

примечание

Версию драйвера CUDA по умолчанию можно установить с помощью следующих команд:

sudo apt update
sudo apt install software-properties-common -y
sudo apt install ubuntu-drivers-common -y
sudo ubuntu-drivers autoinstall
sudo apt install nvidia-cuda-toolkit

Docker​

Инструкция по установке для Ubuntu:
https://docs.docker.com/engine/install/ubuntu/

Необходимо установить версию, которая поддерживает Docker Compose V2.

Nvidia Container Toolkit​

Инструкция по установке для Linux:
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html