Szybki start: Podłącz swoją aplikację

Wymagania wstępne: Instalacja SDK

Zainstaluj oficjalną bibliotekę klienta dla swojego języka przed wysłaniem żądań. Nasz punkt końcowy działa z dowolnym standardowym SDK alternatywnym API openai, ponieważ stosujemy ten sam schemat JSON. Nie potrzebujesz specjalnych sterowników ani dodatkowych zależności, aby natychmiast rozpocząć generowanie tekstu.

Skonfiguruj podstawowy URL i Klucz

Wskaż klienta SDK na nasz konkretny punkt końcowy, aby kierować ruch przez nasz proxy. Musisz ustawić adres bazowy na HTTPS://api.llmapiproxy.com/v1 i podać klucz wygenerowany w panelu sterowania. Ta prosta zmiana konfiguracji pozwala Twojej istniejącej aplikacji korzystać z zaplecza AI bez nieograniczeń bez przepisywania podstawowej logiki.

Wyślij swoje pierwsze uzupełnienie czatu

Wykonaj standardowe żądanie POST do endpointu uzupełniania czatu ze swoim identyfikatorem modelu. Nasz serwer przetwarza dane wejściowe i zwraca tekst bez filtrowania legalnych treści dla dorosłych lub kontrowersyjnych. Struktura odpowiedzi odpowiada standardowemu formatowi wyjściowego, który już znasz.

Copycurl https://api.llmapiproxy.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Fetch the current temperature in Tokyo"}]
  }'

Włącz Strumieniowanie i Liczniki Tokenów

Dodaj stream=true do payloadu żądania, aby otrzymywać tokeny tekstu w miarę ich generowania. Każdy chunk zawiera dane o zużyciu, pozwalając na śledzenie kosztów w czasie rzeczywistym podczas pisania modelu. Podejście to zmniejsza postrzeganą latencję dla użytkowników końcowych, jednocześnie zapewniając precyzyjną widoczność konsumpcji tokenów.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Obsługa wywoływania funkcji i trybu JSON

Użyj parametru tools, aby włączyć wywoływanie funkcji lub ustaw response_format na json_object dla danych wyjściowych strukturalnych. Model ściśle podąża za Twoimi instrukcjami bez odrzucania złożonych zadań logicznych. Ta możliwość sprawia, że nasz proxy jest idealny dla zautomatyzowanych agentów, które wymagają niezawadnej ekstrakcji danych.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmapiproxy.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Limity, Błędy i Okno Kontekstu

Nakładamy okno kontekstowe o pojemności 100 000 tokenów i limit szybkości 429 wynoszący 300 żądań na minutę. Jeśli otrzymasz błąd 401, Twój klucz API jest nieprawidłowy, podczas gdy błąd 402 oznacza, że musisz doładować swój kredyt kryptowalutowy. Zachowaj ciała żądań poniżej 8 MB, aby zapewnić płynne przetwarzanie.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmapiproxy.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)