Langfuse erläutert, wie sein In-Product-Assistent 'Halo' auf bestehender Infrastruktur aufgebaut wurde
Langfuse hat die Entwicklung von Halo, seinem In-Product-KI-Assistenten, enthüllt und dargelegt, wie das Tool durch die Integration bestehender Infrastruktur und nicht durch die Schaffung völlig neuer Systeme aufgebaut wurde. Halo wurde im Juni 2026 gestartet und ermöglicht es Benutzern, Traces zu interpretieren, Dashboards zu erstellen und Auswertungen direkt in der Langfuse-UI einzurichten.
Architektur und Integration
Die Entwicklung von Halo konzentrierte sich weitgehend auf die Wiederverwendung und Erweiterung bestehender Komponenten von Langfuse, einschließlich seines MCP-Servers und der CLI. Das Unternehmen verfolgte das Ziel, für Halo keine separate Wartungsbelastung zu schaffen, um sicherzustellen, dass Verbesserungen an Kernwerkzeugen sowohl dem In-Product-Agenten als auch externen Benutzern zugutekommen. Ein bedeutender Schritt war die Erweiterung des MCP-Servers im Mai 2026, die Werkzeuge für den Zugriff auf Beobachtungen, Metriken, Scores, Kommentare, Datensätze und Annotationswarteschlangen hinzufügte und somit Projektdaten für Agenten zugänglich machte.
Halos Reise umfasste mehrere wichtige Meilensteine im Jahr 2026: eine öffentliche Beta-Version im Juni, die Hinzufügung von Schreibaktionen mit menschlicher Genehmigung im Juli, Hintergrundausführung im August und Sandbox-gestützte Läufe später im selben Monat. Die High-Level-Architektur trennt die Laufverwaltung, wobei ein Browser Läufe initiiert, die dann von einem Langfuse-Worker verarbeitet werden. Dieser Worker interagiert über den Langfuse MCP-Server mit Modellen und Werkzeugen, wobei optionale Lambda MicroVM-Sandboxes zur Verarbeitung größerer Ergebnisse verwendet werden.
Sicherheit und Berechtigungen
Sicherheit war ein grundlegender Aspekt des Halo-Designs. Der Agent greift über den öffentlichen MCP-Server auf Projektdaten zu, wobei Werkzeuge und Berechtigungen sorgfältig verwaltet werden. Für jeden Lauf wird ein temporärer API-Schlüssel erstellt, der auf das Projekt beschränkt ist. Standardmäßig sind nur schreibgeschützte MCP-Werkzeuge verfügbar. Das System unterhält eine eigene Zuordnung von Werkzeugberechtigungen und filtert Werkzeuge basierend auf der Rolle des angemeldeten Benutzers, bevor sie dem Modell zur Verfügung gestellt werden. Aktionen, die Daten ändern, erfordern eine ausdrückliche Genehmigung, mit Optionen, Genehmigungen für eine Konversation zu speichern, obwohl die Berechtigungen bei jedem Lauf erneut gegen die aktuelle Rolle des Benutzers geprüft werden.
Sandbox und Hintergrundausführung
Während die Agentenschleife selbst innerhalb der Backend-Worker von Langfuse läuft, wird eine separate Sandbox-Umgebung für Aufgaben verwendet, die Dateivorgänge oder Skriptausführung erfordern. Diese Sandbox, typischerweise eine Lambda MicroVM für Langfuse Cloud, hat keinen standardmäßigen Netzwerkzugriff und führt Code als nicht privilegierter Benutzer aus. Sie wird nach Inaktivitätsperioden angehalten und beendet. Dieses Design stellt sicher, dass der Agent keine willkürlichen Netzwerkanrufe aus der Sandbox heraus tätigen kann, wobei der Datenzugriff streng durch autorisierte MCP-Aufrufe kontrolliert wird. Für Aufgaben, die die Verarbeitung großer Datensätze beinhalten, die das Kontextfenster eines Modells überschreiten, ermöglicht die Sandbox Halo die Verwendung von Werkzeugen wie grep, head, jq oder kurzen Python-Skripten. Ein optionaler silent-Parameter für MCP-Werkzeuge ermöglicht es dem Agenten, Daten abzurufen und einen Dateipfad zum Ergebnis innerhalb der Sandbox zu erhalten, anstatt die vollständige Ausgabe in den Kontext des Modells zu laden.
Um Benutzern das Schließen ihrer Browser-Tabs und die Rückkehr zu laufenden Aufgaben zu ermöglichen, wurde die Agentenschleife von einem HTTP-Handler in den Worker-Prozess verschoben. Diese Trennung ermöglicht es, dass Läufe unabhängig voneinander fortgesetzt werden. Der Webserver reiht neue Läufe über BullMQ ein, und der Worker führt sie aus und speichert den Fortschritt in Postgres. Server-Sent Events (SSE) werden verwendet, um Updates an den Browser zu streamen. Langfuse hat bewusst darauf verzichtet, automatische Wiederholungsversuche für fehlgeschlagene Läufe zu implementieren, um die Einfachheit zu wahren, obwohl diese Entscheidung für länger laufende oder kritische Aufgaben neu bewertet werden könnte.
Zukünftige Richtungen
Langfuse erforscht Möglichkeiten zur Verbesserung der Sandbox-Skriptfähigkeiten, möglicherweise durch Gewährung des Zugriffs auf das Langfuse SDK und Projekt-LLM-Verbindungen für Aufgaben wie die Kalibrierung von Evaluatoren. Diese Erweiterung würde sorgfältige Sicherheitsmaßnahmen erfordern, um sicherzustellen, dass Skripte nur genehmigte Anfragen stellen. Halo ist derzeit auf Langfuse Cloud und in der öffentlichen Beta für selbst gehostete Bereitstellungen verfügbar.
