Управление LLM и Fine-tuning

Для управления моделями в Compressa есть 2 основных компонента.

Management API

URL: http://ваш_адрес:8080/api/

Management API — это REST API для управления моделями.

С его помощью вы можете:

• Загрузить новую модель в Compressa
• Запустить модель для инференса
• Провести дообучение модели
• И т. д.

Подробное описание доступных команд доступно на странице Management API.

Fine-tuning

Вы можете дообучать модели с помощью LoRA/QLoRA как с помощью UI интерфейса, так и с помощью REST API. Кроме этого, доступен UI дэшборд для мониторинга процесса дообучения и метрик

Подробнее о процессе дообучения моделей на специальной странице.