Переход с OpenAI

API Compsessa является совместимым с OpenAI.
Если ранее в вашем коде использовался пакет OpenAI напрямую, без использования Langchain, вы можете просто использовать пакет OpenAI с нашими эндпоинтами.

# установка openai из PyPI
pip install openai

Сначала, установите следующие переменные окружения:

COMPRESSA_BASE=https://compressa-api.mil-team.ru/v1
EMBED_MODEL=Compressa-Embedding
CHAT_MODEL=Compressa-LLM
TIKTOKEN_MODEL=Salesforce/SFR-Embedding-Mistral
ENCODING_FORMAT=float
COMPRESSA_API_KEY=<"your_compressa_key_here">

И затем просто используйте:

from openai import OpenAI  # версия openai >= 1.0
import os

from dotenv import load_dotenv
load_dotenv()

COMPRESSA_API_KEY=os.getenv("COMPRESSA_API_KEY")
COMPRESSA_BASE=os.getenv("COMPRESSA_BASE")  # наш API Endpoint
CHAT_MODEL=os.getenv("CHAT_MODEL")
EMBED_MODEL=os.getenv("EMBED_MODEL")
ENCODING_FORMAT=os.getenv("ENCODING_FORMAT")

client = OpenAI(api_key = COMPRESSA_API_KEY, base_url = COMPRESSA_BASE)

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "Say this is a test",
        }
    ],
    model=CHAT_MODEL,
)

print(chat_completion)

embedding = client.embeddings.create(
    model=EMBED_MODEL,
    input="What is the capital of the United States?",
    encoding_format=ENCODING_FORMAT
)

print(embedding)