Перейти к основному содержимому

Системные требования

Для корректной установки и стабильной работы InsightStream RAG необходимо подготовить сервер с соответствующей конфигурацией оборудования и программного обеспечения. Ниже приведены рекомендуемые требования.

Аппаратные требования​

Рекомендуемая конфигурация сервера:

  • Linux-сервер (рекомендуется Ubuntu 20.04+)
  • 2 GPU (видеокарты) NVIDIA A100 40GB
  • 8 потоков CPU
  • 160 GB RAM
  • 1 TB места на диске

При масштабировании системы может потребоваться дополнительное увеличение ресурсов.

Требования к программному окружению​

1. Драйвера CUDA​

InsightStream RAG использует GPU, поэтому требуется установка последних совместимых драйверов NVIDIA.

Предпочтительным способом установки является установка из официального репозитория NVIDIA. Процесс установки подробно описан в документации.

Если установка из официального репозитория невозможна, можно использовать пакеты из репозиториев используемого дистрибутива.

примечание

Установка драйверов CUDA (для Ubuntu):

sudo apt update
sudo apt install software-properties-common -y
sudo apt install ubuntu-drivers-common -y
sudo ubuntu-drivers autoinstall
sudo apt install nvidia-cuda-toolkit

2. Docker​

InsightStream разворачивается с помощью Docker Compose. Убедитесь, что установлена актуальная версия Docker, поддерживающая Docker Compose V2.

Инструкция по установке Docker для Ubuntu: 👉 https://docs.docker.com/engine/install/ubuntu/

Инструкция по миграции на Docker Compose V2: 👉 https://docs.docker.com/compose/migrate/

3. Nvidia Container Toolkit​

Для корректной работы с GPU внутри контейнеров необходимо установить Nvidia Container Toolkit.

Инструкция по установке: 👉 https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

Пример проверки окружения перед установкой​

# Проверка доступности GPU
nvidia-smi

# Проверка версии Docker
docker --version

# Проверка версии Docker Compose
docker compose version

Для корректной работы InsightStream требуется открытый порт 8080/tcp для доступа к веб-интерфейсу.

Что дальше?​

После подготовки сервера и программного окружения вы можете переходить к следующему этапу — Установка и развертывание InsightStream.