Wollen Sie, dass KI-Agenten besser funktionieren? Verbessern Sie ihre Informationsabfrage, sagt Databricks

(SeaPRwire) –   Hallo und willkommen bei Eye on AI. In dieser Ausgabe… schnappt sich das Team und die Technologie des KI-Chip-Startups Groq… kauft Manus AI… KI wird besser darin, KI zu verbessern… aber wir wissen möglicherweise nicht genug über das Gehirn, um AGI zu erreichen.

Frohes neues Jahr! Seit wir kurz vor Heiligabend für das Jahr abgesetzt haben, ist viel in der KI-Welt passiert. Wir werden Sie im Eye on AI News-Bereich unten auf den aktuellen Stand bringen.

Inzwischen, wie ich hier bereits zuvor bemerkt habe, sollte 2025 das Jahr der KI-Agenten werden, aber die meisten Unternehmen hatten Schwierigkeiten bei der Implementierung. Als das Jahr zu Ende ging, steckten die meisten Unternehmen noch in der Pilotphase des Experimentierens mit KI-Agenten. Ich denke, dass sich das dieses Jahr ändern wird, und ein Grund dafür ist, dass Technologieanbieter erkennen, dass es nicht ausreicht, einfach KI-Modelle mit agentischen Fähigkeiten anzubieten. Sie müssen ihren Kunden helfen, den gesamten Workflow um den KI-Agenten herum zu gestalten – entweder direkt durch vor Ort eingesetzte Ingenieure, die als Berater und „Customer Success“-Sherpas fungieren, oder durch Softwarelösungen, die es Kunden super einfach machen, diese Arbeit selbst zu erledigen.

Ein wichtiger Schritt, um diese Workflows richtig zu gestalten, ist sicherzustellen, dass KI-Agenten Zugriff auf die richtigen Informationen haben. Seit 2023 ist der Standardweg dafür ein RAG- oder Retrieval-Augmented-Generation-Prozess. Im Wesentlichen besteht die Idee darin, dass das KI-System Zugriff auf eine Art Suchmaschine hat, die es ihm ermöglicht, die relevantesten Dokumente oder Daten aus internen Unternehmensquellen oder dem öffentlichen Internet abzurufen, und dann basiert das KI-Modell seine Antwort oder ergreift Maßnahmen auf der Grundlage dieser Daten, anstatt sich auf etwas zu verlassen, das es während seines Trainingsprozesses gelernt hat. Es gibt viele verschiedene Suchtools, die für ein RAG-System verwendet werden können – und viele Unternehmen verwenden einen hybriden Ansatz, der Vektor-Datenbanken kombiniert, insbesondere für unstrukturierte Dokumente, sowie eine traditionellere Schlüsselwortsuche oder sogar eine altmodische Boolesche Suche.

Aber RAG ist kein Allheilmittel und einfache RAG-KI-Prozesse können immer noch mit relativ hohen Fehlerraten leiden. Ein Problem ist, dass KI-Modelle oft Schwierigkeiten haben, einen Benutzerprompt in gute Suchkriterien zu übersetzen. Ein anderes ist, dass selbst wenn die Suche gut durchgeführt wird, das Modell häufig nicht in der Lage ist, die Daten aus einer anfänglichen Suche richtig zu filtern und zu sieben. Dies liegt manchmal daran, dass zu viele verschiedene Datenformate abgerufen werden, und manchmal daran, dass der Mensch, der das KI-Modell prompted, keine guten Anweisungen geschrieben hat. In einigen Fällen sind die KI-Modelle selbst nicht zuverlässig genug und ignorieren einige der Anweisungen.

Aber meistens scheitern KI-Agenten nicht, weil der Agent „nicht in der Lage ist, über Daten zu reagieren, sondern weil der Agent die richtigen Daten nicht von Anfang an bekommt“, sagt , der Forschungsleiter bei Databricks, zu mir. Bendersky war ein langjähriger Veteran von , wo er sowohl an Google Search als auch für Google arbeitete.

Databricks führt eine neue Retrieval-„Architektur“ ein, die RAG schlägt

Heute debütiert (bekannt für seine Datenanalyse-Software) mit einer neuen Architektur für retrieval-augmentierte KI-Agenten namens Instructed Retriever, die laut Databricks die meisten Schwächen von RAG behebt.

Das System übersetzt den Prompt eines Benutzers und alle benutzerdefinierten Spezifikationen, die das Modell immer berücksichtigen sollte (wie zum Beispiel die Aktualität eines Dokuments oder ob ein Produkt gute Kundenbewertungen hat), in einen mehrstufigen Suchplan sowohl für strukturierte als auch für unstrukturierte Daten – und, entscheidend, Metadaten – um die richtigen Informationen an das KI-Modell zu liefern.

Viel davon hat damit zu tun, die natürliche Sprache des Benutzerprompts und der Suchspezifikationen in eine spezialisierte Suchabfragesprache zu übersetzen. „Die Magie liegt darin, wie man die natürliche Sprache übersetzt, und manchmal ist das sehr schwierig, und ein wirklich gutes Modell für die Abfrageübersetzung zu erstellen“, sagt , CTO für neuronale Netzwerke bei Databricks. (Tang war einer der Mitgründer von MosaicML, das Databricks im Jahr 2023 .)

Bei einer Reihe von Benchmark-Tests, die Databricks entwickelt hat und die laut Unternehmen reale Unternehmens-Anwendungsfälle widerspiegeln, die Anweisungsbefolgung, domänenspezifische Suche, Berichtserstellung, Listenerstellung und die Suche in PDFs mit komplexen Layouts umfassen, erzielte die Instructed-Retriever-Architektur des Unternehmens eine um 70 % bessere Genauigkeit als eine einfache RAG-Methode und lieferte, wenn sie in einem mehrstufigen agentischen Prozess verwendet wurde, eine 30 %ige Verbesserung gegenüber demselben Prozess, der auf RAG aufbaut, während durchschnittlich 8 % weniger Schritte benötigt wurden, um zu einem Ergebnis zu gelangen.

Verbesserung der Ergebnisse auch bei unzureichend spezifizierten Anweisungen

Das Unternehmen hat auch einen neuen Test entwickelt, um zu sehen, wie gut das Modell mit Anfragen umgehen kann, die möglicherweise nicht gut spezifiziert sind. Er basiert teilweise auf einem bestehenden Benchmark-Datensatz der Stanford University namens (Semi-structured Retrieval Benchmark). In diesem Fall betrachtete Databricks eine Teilmenge dieser Anfragen im Zusammenhang mit Produktsuchen, genannt StaRK-Amazon, und erweiterte diesen Datensatz dann um zusätzliche Beispiele. Sie wollten Suchanfragen betrachten, die implizite Bedingungen haben. Zum Beispiel hat die Anfrage „finden Sie eine Jacke von FooBrand, die für kaltes Wetter am besten bewertet ist“, mehrere implizite Einschränkungen. Es muss eine Jacke sein. Sie muss von FoodBrand sein. Es muss die FooBrand-Jacke mit der höchsten Bewertung für kaltes Wetter sein. Sie haben auch Anfragen betrachtet, bei denen Benutzer bestimmte Produkte ausschließen oder möchten, dass der KI-Agent nur Produkte mit aktuellen Bewertungen findet.

Die Idee der Instructed-Retriever-Architektur ist, dass sie diese impliziten Bedingungen in explizite Suchparameter verwandelt. Bendersky sagt, dass der Durchbruch hier darin besteht, dass Instructed Retriever weiß, wie man eine natürlichsprachliche Anfrage in eine verwandelt, die Metadaten nutzt.

Databricks testete die Instructed-Retriever-Architektur mit OpenAI’s GPT-5 Nano und GPT-5.2 sowie mit Anthropic’s Claude-4.5 Sonnet KI-Modellen und zusätzlich einem feinabgestimmten kleinen 4-Milliarden-Parameter-Modell, das sie speziell für die Behandlung dieser Art von Anfragen entwickelt haben und das sie InstructedRetriever-4B nennen. Sie bewerteten all diese gegen eine traditionelle RAG-Architektur. Hier erzielten sie eine um 35 % bis 50 % bessere Punktzahl in Bezug auf die Genauigkeit der Ergebnisse. Und das InstructedRetriever-4B erzielte etwa die gleiche Punktzahl wie die größeren Frontier-Modelle von OpenAI und Anthropic, während es günstiger bereitzustellen war.

Wie immer bei KI ist es der entscheidende erste Schritt zum Erfolg, Ihre Daten an der richtigen Stelle und im richtigen Format zu haben. Bendersky sagt, dass Instructed Retriever gut funktionieren sollte, solange der Datensatz eines Unternehmens einen Suchindex hat, der Metadaten enthält. (Databricks bietet auch Produkte an, die dabei helfen, vollständig unstrukturierte Datensätze zu übernehmen und diese Metadaten zu erzeugen.)

Das Unternehmen sagt, dass Instructed Retriever heute für seine Beta-Test-Kunden verfügbar ist, die sein Knowledge Assistant-Produkt in seiner Agent Bricks KI-Agenten-Entwicklungsplattform verwenden, und bald in einer allgemeinen Verfügbarkeit sein sollte.

Dies ist nur ein Beispiel für die Art von Innovationen, die wir dieses Jahr fast sicherlich mehr sehen werden von allen KI-Agenten-Anbietern. Sie könnten 2026 vielleicht gerade zum echten Jahr der KI-Agenten machen.

Damit kommen wir zu weiteren KI-Nachrichten.

Jeremy Kahn

@jeremyakahn