KI-Agenten im B2B-Handel: vom Hype zur Produktion

Als wir Ende 2024 mit dem Aufbau von LLM-Agenten für unseren Beschaffungsbetrieb begannen, waren die Demos außergewöhnlich. Die Produktion war eine andere Geschichte. Achtzehn Monate später betreiben wir Agenten, die echte Ausschreibungen, echte Lieferantenauswahllisten und echte Vertragsgestaltung bearbeiten – aber erst, nachdem wir den Großteil des Democodes weggeworfen haben. Hier ist, was wir gelernt haben und wie B2B-Handelsagenten in Produktionsqualität unserer Meinung nach tatsächlich aussehen.

Die Demo-Falle

Jede LLM-Demo sieht wunderbar aus. Senden Sie eine 40-seitige Angebotsanfrage an ChatGPT, fordern Sie ein strukturiertes Datenblatt und eine Lieferantenauswahlliste an, und Sie erhalten etwas, das plausibel erscheint. In der ersten Woche, in der wir dies mit echten Ausschreibungen durchführten, dachte unser Team, wir würden bis Weihnachten entlassen sein.

Anschließend prüften wir 200 tatsächliche Ergebnisse im Vergleich zu dem, was unsere leitenden Beschaffungsmanager erzielt hätten. Die Agenten versäumten Lieferzeitstrafen für Nicht-CE-Lieferanten. Sie schlugen Hersteller vor, die sechs Monate zuvor von Bloomberg Tier-1 gestrichen worden waren. Sie zitierten selbstbewusst MOQs, die es nicht gab. Die Demos logen nicht – sie halluzinierten vor Selbstvertrauen.

Drei Dinge, die wir weggeworfen haben

1. Einzelaufforderung

Die erste Version war eine riesige Eingabeaufforderung, die versuchte, alles zu tun: die Angebotsanfrage analysieren, Lieferanten identifizieren, den Vergleichsbogen erstellen, die E-Mail schreiben. Es hat in 60 % der Fälle funktioniert. Bei den anderen 40 % handelte es sich um einen Albtraum mit sich verschärfenden Fehlern: Schlechtes Parsen führte zu schlechten Lieferantenvorschlägen, was zu einer selbstbewussten E-Mail führte, in der der falsche Hersteller empfohlen wurde.

Die Produktion besteht nun aus sechs kleinen Agenten in einer Kette mit jeweils einem Job und einem strengen Ausgabeschema. RFQ-Parser. Lieferanten-Fit-Checker. Compliance-Prüfer. MOQ-Resolver. Durchlaufzeitschätzer. Redaktionsagent. Jede Ausgabe wird anhand eines Schemas validiert, bevor der nächste Agent sie liest. Die Latenz ist gestiegen. Die Zuverlässigkeit ist weiter gestiegen.

2. „Einfach die Vektorsuche verwenden“

In den ersten drei Monaten glaubten wir, dass unsere Lieferantendatenbank ein Problem bei der Vektorsuche sei. Betten Sie die Lieferantenbeschreibungen ein, betten Sie die Angebotsanfrage ein und finden Sie die 10 besten Übereinstimmungen. Der Abruf sah in der Auswertung sauber aus. In der Produktion tauchte fast in der Hälfte der Fälle der falsche Lieferant auf.

Die Lösung bestand darin, zuzugeben, dass B2B-Sourcing erstens ein Problem mit strukturierten Abfragen und zweitens ein semantisches Problem ist. Filtern Sie nach Kategorie, Region, Kapazität, Zertifizierung und führen Sie dann eine semantische Rangfolge innerhalb der gefilterten Menge durch. Klingt langweilig. Doppelte Genauigkeit.

3. Endgültige Generierung in kundenorientierten Abläufen

Wir hatten eine frühe Version eines Agenten, der Vertragsentwürfe direkt an den Kunden schrieb. Es entstand ein überzeugender Gesetzestext. Gelegentlich wurden auch Klauseln erfunden, die in unserer Vorlagenbibliothek nicht vorhanden waren – Klauseln, deren Unterzeichnung zu Problemen geführt hätte.

Die offene Generierung ist jetzt auf interne Tools beschränkt, bei denen jeder Output von Menschen überprüft wird. Kundenbetreuer wählen aus genehmigten Vorlagen aus und besetzen bestimmte Stellen. Wir haben etwas an Flexibilität verloren. Wir haben ein System gewonnen, das wir tatsächlich einsetzen können.

Demo-Agenten beeindrucken Fremde. Produktionsagenten überleben den Kontakt mit echten Benutzern, echten Randfällen und echtem Geld auf dem Spiel. Das sind sehr unterschiedliche Artefakte.

Wie die Produktion aussieht

Drei Muster, für die wir uns entschieden haben, nachdem wir achtzehn Monate lang alles andere ausprobiert hatten.

Strenge Eingabe-/Ausgabeschemata. Jeder Agent in unserer Pipeline verfügt über typisierte Eingaben und validierte Ausgaben. Wenn die Schemaprüfung fehlschlägt, versucht der Agent es erneut mit einem expliziten Fehler in der Eingabeaufforderung. Nach zwei Fehlschlägen eskaliert die Anfrage an einen Menschen. Wir protokollieren jeden Fehler und führen wöchentliche Auswertungen der Fehlermenge durch – so werden die Eingabeaufforderungen tatsächlich verbessert.

Toolaufrufe vor der Generierung. Wo das LLM Fakten benötigt – Lieferantenkapazität, Zertifizierungsstatus, aktuelle Vorlaufzeiten – ruft der Agent ein Tool auf, ruft die strukturierte Antwort ab und schreibt dann die Antwort. Die Erzeugung ohne Erdung ist der Ursprung der Halluzinationen. Die werkzeugbasierte Generation war unser größter Zuverlässigkeitsgewinn.

Modellrouting. Wir verwenden nicht ein Modell für alles. Günstige schnelle Modelle zum Parsen und Routing. Das stärkste Modell nur für Entwurfs- und Argumentationsschritte, bei denen die Ausgabe an einen Kunden geht. Die Einsparungen sind real, aber der größere Vorteil ist die Konsistenz – Sie möchten kein intelligentes, aber gelegentlich unzuverlässiges Modell für Parsing-Aufgaben.

Was wir immer noch nicht automatisieren können

Die schwierigste Entscheidung im B2B-Sourcing besteht darin, zwischen den Zeilen der Anfrage eines Käufers zu lesen. Eine neue Ausschreibung eines Beschaffungsbeauftragten eines Krankenhauses könnte lauten: „3.000 Kartons Nitrilhandschuhe“, aber die eigentliche Frage lautet: „Ich brauche 3.000 Kartons, die unsere Überprüfung der Infektionskontrolle kampflos bestehen.“ Erfahrene Beschaffungsmanager wissen, welche Lieferanten diese Bewertung mit Bravour gemeistert haben. Agenten tun dies noch nicht. Wir speisen die Notizen der Rezensenten zurück in das System, aber es handelt sich immer noch um eine persönliche Aufforderung zu hochwertigen Angeboten.

Wohin das führt

Die interessante Grenze ist die Zusammenarbeit mehrerer Agenten bei komplexen Geschäften. Ein Handelsagent, der mit einem Lieferantenagenten verhandelt, vermittelt durch einen Compliance-Agenten, alles unter der Aufsicht unseres menschlichen Maklers. Wir haben frühe Prototypen; Sie sind nicht in Produktion. Die Infrastruktur zur Auswertung dieser Abläufe – Offline-Wiedergabe, strukturierte Auswertungsdatensätze, deterministische Testumgebungen – ist das, was wir in diesem Quartal aufbauen.

Wenn Sie B2B-Handelssoftware mit LLMs entwickeln und auf die gleichen Probleme gestoßen sind, würden wir gerne unsere Erfahrungen vergleichen. Und wenn Sie sehen möchten, wie die Produktion aussieht, verwendet unser Sourcing-Team diese Agenten bei jeder eingehenden Anfrage – die Ausgabe ist so gut, dass Sie sie von einem erfahrenen menschlichen Entwurf nicht kennen würden.