RAG nedir? Kendi verinizle çalışan yapay zeka
Yapay zekanın "uydurma" yapmasını engellemenin en pratik yolu, ona kendi belgelerinizi okutmaktır. RAG tam olarak bunu yapıyor. Kavramı teknik olmayan okuyucu için açıklıyor, hangi projelerde işe yaradığını gösteriyoruz.
Problem: model sizin verinizi bilmez
Genel amaçlı bir dil modeli, internetteki kamuya açık metinlerle eğitilmiştir. Sizin şu bilgilerinizi bilmez:
- İç prosedürleriniz ve politikalarınız
- Ürün kataloğunuz ve fiyatlarınız
- Sözleşmeleriniz, teknik dokümanlarınız
- Geçmiş proje kayıtlarınız
- Sektörünüze özgü güncel mevzuat
Bu bilgileri sormak istediğinizde iki kötü seçenek doğar: model ya "bilmiyorum" der ya da makul görünen ama yanlış bir yanıt uydurur.
Çözüm: önce bul, sonra yanıtla
RAG'in açılımı "Retrieval-Augmented Generation", yani erişimle desteklenmiş üretim. Fikir basittir:
Modelden yanıt istemeden önce, sorusuyla ilgili belgeleri bul ve bunları soruyla birlikte modele ver.
Kütüphane benzetmesi: Bir uzmana soru sorarken "bu konuyla ilgili şu üç raporu da okuyup öyle cevapla" demek gibidir. Uzman hafızasından değil, önündeki belgelerden konuşur.
Nasıl çalışır?
Hazırlık aşaması (bir kez yapılır):
- Belgeleriniz toplanır (PDF, Word, web sayfası, veritabanı)
- Anlamlı parçalara bölünür (bölüm, paragraf düzeyinde)
- Her parça, anlamını temsil eden sayısal bir vektöre dönüştürülür
- Vektörler aranabilir bir veritabanına yazılır
Sorgu aşaması (her soruda):
- Kullanıcının sorusu da vektöre çevrilir
- Anlamca en yakın belge parçaları bulunur
- Bu parçalar soruyla birlikte modele verilir
- Model yalnızca verilen parçalara dayanarak yanıt üretir
- Yanıtla birlikte kaynak belgeler gösterilir
Kritik nokta dördüncü adımdır: model "bu belgelerde yoksa bilmiyorum de" talimatıyla çalıştırılır.
Kaynak gösterimi pazarlık konusu değildir
Kurumsal bir RAG sisteminde her yanıtın altında hangi belgeden, hangi bölümden geldiği görünmelidir. Bu hem doğruluk denetimini mümkün kılar hem de kullanıcı güvenini kurar. Kaynak göstermeyen bir sistemi üretime almayın.
Nerede kullanılır?
Kurum içi bilgi asistanı. Çalışanlar prosedür, izin, satın alma, İK politikaları hakkında soru sorar; sistem kurum belgelerinden yanıtlar.
Mevzuat ve hukuk. Kanun, yönetmelik ve tebliğlerde kaynak destekli arama. Kendi ürünümüz Mevzuat Copilot bu yaklaşımla çalışıyor.
Müşteri desteği. Chatbot'un doğru bilgi vermesinin temel yöntemi.
Teknik dokümantasyon. Ürün kılavuzları, API dokümanları, arıza kayıtları üzerinde soru-cevap.
Satış desteği. Teklif hazırlarken geçmiş sözleşmelerden ve ürün bilgisinden yararlanma.
İhale ve şartname analizi. Uzun şartnamelerde gereksinimlerin çıkarılması ve karşılaştırılması.
Kurum içi belgelerinizle çalışan bir soru-cevap sistemi kurmayı düşünüyorsanız, belge yapınızı inceleyip pilot kapsamı ve gerçekçi doğruluk beklentisini ücretsiz olarak çıkarıyoruz.
Başarıyı belirleyen faktör: belge kalitesi
Projelerde en çok emek gerektiren kısım model değil, belge hazırlığıdır. Aşağıdakiler doğrudan doğruluğu etkiler:
- Güncellik: Eski ve yeni sürümü bir arada duran politikalar çelişkili yanıt üretir
- Tutarlılık: Aynı konuyu farklı anlatan iki belge varsa sistem hangisini seçeceğini bilemez
- Yapı: Başlıklandırılmış, bölümlenmiş belgeler daha iyi parçalanır
- Metin katmanı: Taranmış PDF'lerde metin yoksa önce OCR gerekir
- Erişim yetkileri: Kim hangi belgeyi görebilir; sistem bunu bilmelidir
Yaygın hatalar
1. Her şeyi bir kerede yüklemek. 50.000 belgeyle başlamak yerine, en çok soru gelen 200 belgeyle pilot yapın.
2. Yetkilendirmeyi atlamak. İK belgeleri herkese açık hale gelirse ciddi bir sorun doğar. Yetki filtresi arama katmanında uygulanmalıdır.
3. Kalite ölçmemek. 100 gerçek soruluk bir test seti hazırlayın, her değişiklikte doğruluğu ölçün.
4. Parçalama stratejisini önemsememek. Belgeleri rastgele boyutlarda kesmek, anlamı bölerek doğruluğu ciddi biçimde düşürür.
5. Kullanıcıyı eğitmemek. Sistemin neyi bildiğini ve neyi bilmediğini kullanıcıya anlatın.
Maliyet ve süre
| Kapsam | Süre | Tipik maliyet |
|---|---|---|
| Pilot (tek departman, sınırlı belge) | 4-6 hafta | 150.000 - 350.000 TL |
| Kurumsal (çok kaynak, yetkilendirme) | 3-6 ay | 500.000 - 1.500.000 TL |
| Müşteriye açık ürün | 4-8 ay | 700.000 TL ve üzeri |
İşletme maliyeti; belge sayısından çok soru hacmiyle ilgilidir ve genelde aylık birkaç bin TL ile birkaç on bin TL arasındadır.
Özet
RAG, dil modelini kendi belgelerinizle konuşturan mimaridir: önce ilgili belgeleri bulur, sonra yalnızca onlara dayanarak yanıt üretir ve kaynak gösterir. Uydurma riskini büyük ölçüde ortadan kaldırır, içerik güncellendiğinde sistem otomatik güncel kalır.
Başarı, modelden çok belge kalitesine ve dar başlangıç kapsamına bağlıdır. Kurumunuzda bir pilot planlamak için bize yazın.
Sıkça sorulan sorular
RAG ile modeli eğitmek (fine-tuning) arasındaki fark ne?
RAG, modele soruyla birlikte ilgili belgeleri verir; model bilgiyi okuyarak yanıtlar. Fine-tuning ise modelin davranışını örneklerle değiştirir. Bilgi güncel tutulacaksa RAG uygundur; belirli bir ton veya format öğretilecekse fine-tuning. Çoğu kurumsal senaryoda ihtiyaç duyulan RAG'dir.
Verilerim dışarı çıkar mı?
Mimariye bağlıdır. Kurumsal API kullanımında sağlayıcılar veriyi eğitimde kullanmama taahhüdü verir. Daha yüksek gizlilik gerekiyorsa kendi altyapınızda çalışan açık kaynak modeller kullanılabilir; bu durumda veri hiç dışarı çıkmaz.
Ne kadar belgeyle çalışabilir?
Pratikte sınır yoktur. On binlerce sayfa yaygın bir ölçektir. Belirleyici olan belge sayısı değil, belgelerin kalitesi ve düzenidir. Tutarsız, tekrarlı ve güncel olmayan belgeler doğruluğu düşürür.
Yanıtların doğruluğu ne kadar olur?
İyi hazırlanmış bir bilgi tabanıyla %85-95 bandı gerçekçidir. Kaynak gösterimi sayesinde kullanıcı yanıtı doğrulayabilir; bu, kalan hata payını yönetilebilir kılar.
Bu konuda yardıma mı ihtiyacınız var?
CodeBroker olarak web, mobil ve yapay zeka projelerini fikirden lansmana kadar tek ekiple yürütüyoruz. Ücretsiz keşif görüşmesinde kapsamı, süreyi ve bütçeyi birlikte netleştirelim.