Hinweis: Diese Datei wurde automatisch übersetzt. Verbesserungen der Übersetzung sind willkommen!

English | 简体中文 | 日本語 | Português (Brasil) | 한국어

Español | Français | Deutsch | Русский | العربية | हिन्दी | Türkçe

Opik

Open-Source-KI-Beobachtbarkeit, -Bewertung und -Optimierung

Opik hilft Ihnen beim Erstellen, Testen und Optimieren generativer KI-Anwendungen, die vom Prototyp bis zur Produktion besser laufen. Von RAG-Chatbots über Code-Assistenten bis hin zu komplexen Agentensystemen bietet Opik umfassende Nachverfolgung, Auswertung sowie automatische Eingabeaufforderungs- und Tool-Optimierung, um das Rätselraten bei der KI-Entwicklung zu beseitigen.

Website • Slack-Community • Twitter • Änderungsprotokoll • Dokumentation

🚀 Was ist Opik? • 🛠️ Opik Server-Installation • 💻 Opik Client SDK • 📝 Protokollierungsspuren

🧑‍⚖️ LLM als Richter • 🔍 Bewertung Ihrer Bewerbung • ⭐ Star Us • 🤝 Mitwirken

🚀 Was ist Opik?

Opik (erstellt von Comet) ist eine Open-Source-Plattform, die den gesamten Lebenszyklus von LLM-Anwendungen optimieren soll. Es ermöglicht Entwicklern, ihre Modelle und Agentensysteme zu bewerten, zu testen, zu überwachen und zu optimieren. Zu den wichtigsten Angeboten gehören:

• Umfassende Beobachtbarkeit: Umfassende Nachverfolgung von LLM-Anrufen, Gesprächsprotokollierung und Agentenaktivität.
• Erweiterte Bewertung: Robuste sofortige Bewertung, LLM-as-a-Judge und Experimentmanagement.
• Produktionsbereit: Skalierbare Überwachungs-Dashboards und Online-Auswertungsregeln für die Produktion.
• Opik Agent Optimizer: Spezielles SDK und eine Reihe von Optimierern zur Verbesserung von Eingabeaufforderungen und Agenten.
• Opik Guardrails: Funktionen, die Sie bei der Implementierung sicherer und verantwortungsvoller KI-Praktiken unterstützen.

Zu den wichtigsten Fähigkeiten gehören:

• Entwicklung & Rückverfolgung:
• Verfolgen Sie alle LLM-Aufrufe und Traces mit detailliertem Kontext während der Entwicklung und in der Produktion (Quickstart).
• Umfangreiche Integrationen von Drittanbietern für einfache Beobachtbarkeit: Nahtlose Integration in eine wachsende Liste von Frameworks, wobei viele der größten und beliebtesten nativ unterstützt werden (einschließlich neuer Ergänzungen wie Google ADK, Autogen und Flowise AI). (Integrationen)
• Kommentieren Sie Traces und Spans mit Feedback-Scores über das Python SDK oder das UI.

• Experimentieren Sie mit Eingabeaufforderungen und Modellen im Prompt Playground.

• Bewertung und Tests:

• Automatisieren Sie Ihre LLM-Anwendungsbewertung mit Datasets und Experimente.
• Nutzen Sie leistungsstarke LLM-als-Richter-Metriken für komplexe Aufgaben wie Halluzinationserkennung, Moderation und RAG-Bewertung (Antwort Relevanz, Kontext Präzision).

• Integrieren Sie Auswertungen in Ihre CI/CD-Pipeline mit unserer PyTest-Integration.

• Produktionsüberwachung und -optimierung:

• Protokollieren Sie große Mengen an Produktionsspuren: Opik ist für den Maßstab ausgelegt (über 40 Mio. Spuren/Tag).
• Überwachen Sie Feedback-Scores, Trace-Zählungen und Token-Nutzung im Laufe der Zeit im Opik Dashboard.
• Nutzen Sie Online-Bewertungsregeln mit LLM-as-a-Judge-Metriken, um Produktionsprobleme zu identifizieren.
• Nutzen Sie Opik Agent Optimizer und Opik Guardrails, um Ihre LLM-Anwendungen in der Produktion kontinuierlich zu verbessern und zu sichern.

[!TIP] Wenn Sie nach Funktionen suchen, die Opik heute nicht bietet, stellen Sie bitte eine neue Funktionsanfrage 🚀

🛠️ Opik Server-Installation

Bringen Sie Ihren Opik-Server in wenigen Minuten zum Laufen. Wählen Sie die Option, die Ihren Anforderungen am besten entspricht:

Option 1: Comet.com Cloud (am einfachsten und empfohlen)

Greifen Sie sofort und ohne Einrichtung auf Opik zu. Ideal für schnelle Starts und problemlose Wartung.

👉 Erstellen Sie Ihr kostenloses Comet-Konto

Option 2: Opik selbst hosten für volle Kontrolle

Stellen Sie Opik in Ihrer eigenen Umgebung bereit. Wählen Sie zwischen Docker für lokale Setups oder Kubernetes für Skalierbarkeit.

Selbsthosting mit Docker Compose (für lokale Entwicklung und Tests)

Dies ist der einfachste Weg, eine lokale Opik-Instanz zum Laufen zu bringen. Beachten Sie das neue Installationsskript „./opik.sh“:

In einer Linux- oder Mac-Umgebung:

# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the repository
cd opik

# Start the Opik platform
./opik.sh

In einer Windows-Umgebung:

# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the repository
cd opik

# Start the Opik platform
powershell -ExecutionPolicy ByPass -c ".\\opik.ps1"

Serviceprofile für die Entwicklung

Die Opik-Installationsskripte unterstützen jetzt Dienstprofile für verschiedene Entwicklungsszenarien:

# Start full Opik suite (default behavior)
./opik.sh

# Start only infrastructure services (databases, caches etc.)
./opik.sh --infra

# Start infrastructure + backend services
./opik.sh --backend

# Enable guardrails with any profile
./opik.sh --guardrails # Guardrails with full Opik suite
./opik.sh --backend --guardrails # Guardrails with infrastructure + backend

Verwenden Sie die Optionen „--help“ oder „--info“, um Probleme zu beheben. Dockerfiles stellen jetzt sicher, dass Container als Nicht-Root-Benutzer ausgeführt werden, um die Sicherheit zu erhöhen. Sobald alles betriebsbereit ist, können Sie jetzt localhost:5173 in Ihrem Browser aufrufen! Ausführliche Anweisungen finden Sie im Local Deployment Guide.

Selbsthosting mit Kubernetes & Helm (für skalierbare Bereitstellungen)

Für Produktions- oder größere selbstgehostete Bereitstellungen kann Opik mithilfe unseres Helm-Charts auf einem Kubernetes-Cluster installiert werden. Klicken Sie auf das Abzeichen, um das vollständige Kubernetes-Installationshandbuch mit Helm anzuzeigen.

[!IMPORTANT] Änderungen in Version 1.7.0: Bitte überprüfen Sie das Änderungsprotokoll auf wichtige Updates und wichtige Änderungen.

💻 Opik Client SDK

Opik bietet eine Reihe von Client-Bibliotheken und eine REST-API für die Interaktion mit dem Opik-Server. Dazu gehören SDKs für Python, TypeScript und Ruby (über OpenTelemetry), die eine nahtlose Integration in Ihre Arbeitsabläufe ermöglichen. Ausführliche API- und SDK-Referenzen finden Sie in der Opik Client-Referenzdokumentation.

Python SDK-Schnellstart

So beginnen Sie mit dem Python SDK:

Installieren Sie das Paket:

# install using pip
pip install opik

# or install with uv
uv pip install opik

Konfigurieren Sie das Python-SDK, indem Sie den Befehl „opik configure“ ausführen, der Sie zur Eingabe Ihrer Opik-Serveradresse (für selbst gehostete Instanzen) oder Ihres API-Schlüssels und Arbeitsbereichs (für Comet.com) auffordert:

opik configure

[!TIP] Sie können auch „opik.configure(use_local=True)“ aus Ihrem Python-Code aufrufen, um das SDK für die Ausführung auf einer lokalen selbstgehosteten Installation zu konfigurieren oder API-Schlüssel und Arbeitsbereichsdetails direkt für Comet.com bereitzustellen. Weitere Konfigurationsoptionen finden Sie in der Python SDK-Dokumentation.

Sie können jetzt mit der Protokollierung von Ablaufverfolgungen mit dem Python SDK beginnen.

📝 Protokollierung von Traces mit Integrationen

Der einfachste Weg, Traces zu protokollieren, ist die Verwendung einer unserer direkten Integrationen.