AI SDR Halüsinasyonu Nasıl Önlenir? Fact-Audit Katmanı

AI SDR halüsinasyonları nadir edge case’lerle sınırlı değil. Funding round uydurur, job title’ı yanlış yazar, şirketin satmadığı ürünleri anlatır. Language model’lar doğrulanmış bilgi değil, istatistiksel olarak olası metin üretir. Bunu daha iyi bir prompt çözmez. Ayrı bir audit adımı, email reviewer’a veya sending queue’ya ulaşmadan önce devreye girmelidir.

Sorun Neden Yapısal, Sadece Prompt Meselesi Değil

Cold email kişiselleştirmesinde model’den belirli bir kişi ve şirket hakkında spesifik bir şey yazması istenir. Elinde yalnızca LinkedIn URL’si, job title ve company domain gibi zayıf source data varsa model boşlukları training data ile doldurur. Bu veri eski, farklı kaynaklardan toplanmış ve hatalı olabilir. Ortaya kendinden emin görünen yanlış bir claim çıkar.

Halüsinasyonu yazan model, review sırasında onu yakalamaz. Ayrı bir model kullan.

AI SDR copy’sinde sık görülen halüsinasyonlar:

• Model’in training window’unda gördüğü ancak artık eski veya yanlış olan bir funding round’u kullanmak
• Bir competitor’a ait product veya feature’ı şirkete atfetmek
• Hiç gerçekleşmemiş bir işe alım veya terfi hakkında “icebreaker” yazmak
• Aylar önceki bir aralığı şirketin güncel çalışan sayısı diye vermek

Asıl sorun, modelin kendi işini güvenilir biçimde denetleyememesidir. Aynı modele “yazdığını kontrol et” demek bağımsız doğrulama sağlamaz. Yanlış bilgiyi üreten model, review sırasında aynı hatayı tekrarlar. Structured output içindeki confidence score ve unsourced_claims alanları yalnızca sinyaldir. Model halüsinasyon üretirken yüksek confidence ve sıfır unsourced claim bildirebilir.

Bağımsız Fact-Audit Layer Nasıl Görünür

Mimari üç parçadan oluşur.

Source envelope. Generator’a giden her enrichment record, imzalı bir source document haline gelir. Audit modeli yalnızca bu envelope içindeki veriyi görür. Üretilen email’deki bir claim bu veriye bağlanamıyorsa doğru görünse bile unsourced olarak işaretlenir.

Adversarial framing ile ayrı model çağrısı. Audit prompt’u üretilen copy’yi geliştirilecek bir draft değil, doğruluğu kanıtlanması gereken bir metin olarak ele alır. Talimat nettir: Lead veya şirket hakkında source data ile desteklenmeyen claim’leri bul. Audit için farklı bir model provider kullanmak bağımsızlığı artırır. Farklı training weight’ler, farklı bias ve hata kalıpları getirir.

Diff gösteren human gate. Flag’lenen email, işaretlenen claim’ler ve ilgili source record bölümüyle birlikte reviewer’a gider. Reviewer metni düzenler veya reddeder. Sistem otomatik düzeltme yapmaz. Halüsinasyonu üreten modele düzeltme yaptırmak aynı hatayı döngüye sokar. Email ancak temiz bir audit sonucuyla send queue’ya girer.

Asphia olarak bu modeli kullanıyoruz. Her lead sırasıyla signal collection, enrichment, generation, bağımsız audit ve insan onayından geçer. Audit, generator’ın kendi output’unda işaretlemediği uydurmaları yakalar.

Scale’de Audit’i Atlama Cazibesi

Günde yüzlerce email üretirken audit ek maliyet ve gecikme yaratır. Bu yüzden adımı tamamen atlamak veya email’lerin yalnızca yüzde onunu denetlemek cazip gelebilir. Ancak halüsinasyonlar eşit dağılmaz. Source data’sı zayıf lead’lerde ve yoğun kişiselleştirme istenen gruplarda kümelenir. Yüzde onluk bir örneklem, hatalı claim üretme ihtimali en yüksek lead’leri gözden kaçırabilir.

Audit için hızlı ve ucuz, generation için daha kaliteli bir model kullandığında maliyet dengesi değişir. Küçük modelle audit çağrısını her lead için çalıştırmak mümkün hale gelir. Hatalı bir email’in gerçek bir lead’e ulaşmasının itibar maliyeti hesaba katıldığında bütün email’leri denetlemek, örneklem almaktan daha mantıklıdır.

Done With You outbound sistemi kuran veya spam’den kaçınan AI cold email setup’larını değerlendiren ekipler şuna dikkat etmeli: Audit katmanı vendor demo’larında sık atlanır ama production’da kritik rol oynar.

AI SDR’ının Hallucinate Ettiğini Gösteren İşaretler

Test lead’leri genellikle iyi bilinen, hakkında bol veri bulunan şirketlerden seçilir. Bu yüzden testte görünmeyen halüsinasyonlar production’da şu gruplarda ortaya çıkar:

• Public profile’ı zayıf olan küçük şirketler
• İngilizce dışındaki pazarlar, çünkü modeller yerel iş dünyası hakkında daha az training data’ya sahiptir
• Training cutoff’tan sonra kurulmuş şirketler
• Job title’ı son bir yıl içinde değişmiş lead’ler

Basit bir test yap: Üretilen bir email batch’ini source record’larla manuel olarak karşılaştır. Şirket veya kişi hakkındaki her claim’in enrichment data’da karşılığı var mı bak. Azımsanmayacak sayıda fark bulursan sisteme audit katmanı eklemen gerekir.

Uydurma Üretmeden Güven İnşa Etmek

Hedef, detay uğruna doğruluktan vazgeçmek değil, source data’ya dayanan kişiselleştirmedir. Doğrulanmış bir signal’dan çıkan kısa bir icebreaker, funding geçmişi ve ekip büyüklüğü hakkında uzun ama uydurma bir paragraftan daha iyi sonuç verir.

Generator’ı source envelope ile sınırla. Source içinde doğrulanmış bir signal varsa email bundan söz edebilir. Yalnızca domain ve job title varsa model boşlukları uydurmamalıdır. Zayıf veri, daha kısa ve temkinli copy üretmelidir. Doğru davranış budur.

Audit katmanı bu kuralı inference sırasında uygular. Generator’ın kendi kendine sınır koymasına güvenmez.

---

AI outbound altyapısını değerlendiriyorsan fact-audit katmanının managed outbound service stack’ine nasıl oturduğunu birlikte inceleyebiliriz.