B2B ticaretindeki yapay zeka ajanları: heyecandan üretime

2024'ün sonlarında kaynak bulma operasyonumuz için Yüksek Lisans temsilcileri oluşturmaya başladığımızda demolar olağanüstüydü. Prodüksiyon farklı bir hikayeydi. On sekiz ay sonra, gerçek RFQ'ları, gerçek tedarikçi kısa listesini ve gerçek sözleşme taslağını hazırlayan acenteleri çalıştırdık - ancak bunu ancak demo kodunun çoğunu attıktan sonra yaptık. İşte öğrendiklerimiz ve artık üretim düzeyindeki B2B ticaret acentelerinin aslında neye benzediğini düşünüyoruz.

Demo tuzağı

Her LLM demosu mucizevi görünür. ChatGPT'ye 40 sayfalık bir RFQ bırakın, yapılandırılmış bir teknik özellik sayfası ve bir tedarikçi kısa listesi isteyin ve makul görünen bir şey elde edin. Bunu gerçek RFQ'larda yürüttüğümüz ilk hafta ekibimiz Noel'e kadar işten çıkacağımızı düşündü.

Daha sonra üst düzey kaynak bulma yöneticilerimizin üretebileceği 200 gerçek çıktıyı denetledik. Temsilciler, CE dışı tedarikçilere yönelik teslim süresi cezalarını kaçırdılar. Altı ay önce Bloomberg Tier-1 listesinden çıkarılan üreticileri önerdiler. Var olmayan MOQ'lardan güvenle alıntı yaptılar. Gösteriler yalan söylemiyordu; güvenle halüsinasyon görüyorlardı.

Attığımız üç şey

1. Tek seferlik yönlendirme

İlk versiyon, her şeyi yapmaya çalışan devasa bir istemdi: RFQ'yu ayrıştırmak, tedarikçileri belirlemek, karşılaştırma sayfasının taslağını hazırlamak, e-postayı yazmak. %60 oranında işe yaradı. Geriye kalan %40 ise bileşik hata kabusuydu: Kötü ayrıştırma, kötü tedarikçi önerilerine yol açarak kendinden emin bir e-postanın yanlış üreticiyi önermesine yol açtı.

Üretim artık bir zincirdeki altı küçük temsilciden oluşuyor; her birinin tek bir işi ve katı bir çıktı şeması var. RFQ ayrıştırıcısı. Tedarikçiye uygun denetleyici. Uyumluluk doğrulayıcı. MOQ çözümleyici. Teslimat süresi tahmincisi. Taslak ajanı. Her çıktı, bir sonraki aracı okumadan önce bir şemaya göre doğrulanır. Gecikme arttı. Güvenilirlik daha da arttı.

2. “Sadece vektör aramayı kullanın”

İlk üç ay boyunca tedarikçi veri tabanımızın bir vektör arama sorunu olduğuna inanıyorduk. Tedarikçi açıklamalarını ekleyin, RFQ'yu ekleyin, ilk 10 eşleşmeyi bulun. Geri alma değerlendirmede temiz görünüyordu. Üretimde neredeyse yarısında yanlış tedarikçi ortaya çıkıyordu.

Çözüm, B2B kaynak kullanımının öncelikle yapılandırılmış bir sorgu sorunu, ikinci olarak da anlamsal bir sorun olduğunu kabul etmekti. Kategoriye, bölgeye, kapasiteye, sertifikaya göre filtreleyin ve ardından filtrelenen kümenin içinde anlamsal sıralamayı çalıştırın. Kulağa sıkıcı geliyor. İki kat doğruluk.

3. Müşteriye yönelik akışlarda açık uçlu üretim

Sözleşme taslaklarını doğrudan müşteriye yazan bir acentenin eski bir versiyonuna sahiptik. İkna edici bir hukuki metin oluşturdu. Ayrıca zaman zaman şablon kitaplığımızda bulunmayan maddeler de icat etti; imzalanırsa sorun yaratabilecek maddeler.

Açık uçlu nesil artık insanların her çıktıyı incelediği dahili araçlarla sınırlıdır. Müşteriyle yüz yüze görüşen temsilciler, onaylanmış şablonlar arasından seçim yapar ve belirli alanları doldurur. Biraz esneklik kaybettik. Gerçekten konuşlandırabileceğimiz bir sistem kazandık.

Demo temsilcileri yabancıları etkiliyor. Prodüksiyon temsilcileri gerçek kullanıcılarla, gerçek uç durumlarla ve çevrimiçi gerçek parayla temas halindeyken hayatta kalır. Bunlar çok farklı eserler.

Üretim neye benziyor

On sekiz ay boyunca diğer her şeyi denedikten sonra kararlaştırdığımız üç model.

Katı giriş/çıkış şemaları. Hattımızdaki her aracının girdileri ve doğrulanmış çıktıları vardır. Şema denetimi başarısız olursa aracı, istemde açık bir hata vererek yeniden dener. İki başarısızlıktan sonra istek bir insana iletilir. Her başarısızlığı günlüğe kaydediyoruz ve başarısızlık kümesinde haftalık değerlendirmeler yapıyoruz; istemler aslında bu şekilde gelişiyor.

Oluşturulmadan önce araç çağrıları. Yüksek Lisans'ın gerçeklere (tedarikçi kapasitesi, sertifika durumu, mevcut teslim süreleri) ihtiyaç duyduğu durumlarda, temsilci bir aracı çağırır, yapılandırılmış yanıtı alır ve ardından yanıtı yazar. Halüsinasyonların geldiği yer topraklanmayan nesildir. Alet temelli nesil, güvenilirlikteki en büyük kazancımız oldu.

Model yönlendirme. Her şey için tek bir model kullanmıyoruz. Ayrıştırma ve yönlendirme için ucuz hızlı modeller. Yalnızca çıktının müşteriye gittiği taslak hazırlama ve akıl yürütme adımları için en güçlü model. Tasarruflar gerçektir, ancak daha büyük kazanç tutarlılıktır; ayrıştırma görevlerinde akıllı ama ara sıra pul pul dökülen bir model istemezsiniz.

Hala otomatikleştiremediğimiz şeyler

B2B kaynak bulmadaki en zor çağrı, alıcının isteğinin satır aralarını okumaktır. Bir hastane satın alma memurundan gelen yeni bir teklif talebi "3.000 kutu nitril eldiven" diyebilir, ancak asıl soru şu: "Enfeksiyon kontrol incelememizi mücadele etmeden geçen 3.000 kutuya ihtiyacım var." Kıdemli kaynak bulma yöneticileri hangi tedarikçilerin bu incelemede başarılı olduğunu bilir. Ajanlar henüz bunu yapmadı. İnceleme notlarını sisteme geri gönderiyoruz, ancak bu yine de yüksek değerli anlaşmalar için döngüde olan bir insan çağrısıdır.

Bu nereye gidiyor

İlginç olan sınır, karmaşık anlaşmalarda çok temsilcili işbirliğidir. Tamamı insan komisyoncumuzun gözetimi altında, bir uyumluluk temsilcisinin aracılık ettiği, bir tedarikçi temsilcisiyle pazarlık yapan bir ticari temsilci. Erken prototiplerimiz var; üretimde değiller. Bu akışları değerlendirmeye yönelik altyapıyı (çevrimdışı tekrar oynatma, yapılandırılmış değerlendirme veri kümeleri, deterministik test donanımları) bu çeyrekte inşa ediyoruz.

Yüksek Lisans'larla B2B ticaret yazılımı oluşturuyorsanız ve aynı duvarlarla karşılaştıysanız, notları karşılaştırmayı çok isteriz. Üretimin nasıl göründüğünü görmek istiyorsanız, kaynak bulma ekibimiz gelen her teklif talebinde bu aracıları kullanır; çıktı, kıdemli bir insan taslağından bilemeyeceğiniz kadar iyidir.