Документация платформы Compressa
Платформа Compressa — это готовая AI-инфраструктура c профессиональной оптимизацией, которую можно безопасно развернуть на серверах компании. Платформа заменяет необходимость использования внешних API, таких как OpenAI, предоставляя все необходимые компоненты для разработки и масштабирования решений на базе генеративного AI.
Вы можете протестировать Compressa через наши облачные API, при этом вам практически не придется менять код при переезде на свой сервер. Если вы хотите запустить копию платформы на ваших серверах — оставьте заявк у на основном сайте.
Основные модули
- ETL: Извлечение и чанкинг данных из документов для эффективного поиска и работы LLM
- LLM: Быстрые и выгодные модели с поддержкой русского языка и оптимальной квантизацией
- Embeddings: Подготовка текстовых данных для семантического поиска, классификация и кластеризация
- Rerank: Повышение точности поиска за счет выделения самых релевантных результатов
- Fine-tuning: Улучшение качества ответов модели до уровня GPT-4 для конкретной бизнес-задачи
Возможно добавление и других модулей по запросу
Преимущества Compressa
- 🛠️ Готовый набор инструментов для вашего сервера: вам не понадобится тратить месяцы и нанимать профильных ML инженеров для создания и поддержки локаль ной инфраструктуры
- 💻 Простая разработка: Все взаимодействие происходит через API-интерфейсы или нативную Python библиотеку для Langchain. LLM модели поддерживают OpenAI-совместимое API
- ⚡ Профессиональная оптимизация: В 20-70 раз больше токенов с 1 GPU, в 2-10 раз выше скорость генерации для 1 запроса и кратно меньшие затраты на видеокарты
Следующие шаги
- Получите API ключ для облачного тестирования платформы или разверните Compressa с помощью Docker на своих серверах при наличии лицензии
- Перейдите в Быстрый старт для создания первого запроса
- Изучите возможности платформы с помощью наших гайдов
Помощь
Если у вас возникли вопросы или вы хотите обсудить свою задачу с командой ML экспертов — просим вас связаться с нами в телеграм чате поддержки.