Büyük dil modelleri her sorumuza cevap veriyor, tarihin tüm bilgeliğine sahip bir havada hiçbir zaman bilmiyorum demeden etkileyici bir tonda bilgilerini sergiliyor. Fakat cümle aralarına usulca gizlenen oldukça yanlış bilgiler veriyor. Üstelik bunu çok güzel ifade edilmiş cümleler içinde, öyle entelektüel bir havada veriyor ki okuyan sorgulama ihtiyacı duymadan “doğrudur” diyerek kabul ediyor. Bu nedenle de, uzman olunmayan bir alanda verilen bilgilerdeki hataları anlamak hiç de kolay değil.
HALÜSİNASYON
Bilimsel olarak yanlış bilgi verme durumuna “halüsinasyon” deniyor ve sürekli halüsinasyona çare arıyorlar ama henüz aşılmış değil ve de bu durum mevcut model mimarisi ile tamamen yok edilecek gibi görünmüyor. Bizse bazı prompt teknikleri ile bu problemi azaltabiliriz. Bir de çıktılarını doğrulama sürecinden geçiren bir takım üretken yapay zekâ çözümleri kullanarak da kontrol sağlayabiliriz.
- “ARMUT PİŞ, AĞZIMA DÜŞ” HAYALLERİNİ YIKMAK GEREKİYOR HAYALLERİNİ YIKMAK GEREKİYOR.
Yapay zekâ dil modellerinden doğru bilgiyi etkili bir şekilde almak için öncelikle bize pazarlanan “armut piş ağzıma düş” hayalini kurmaktan vazgeçmek lazım. Bu tehlikeli bir hayal ve doğru sonuca götürmekten ziyade tam bir zaman kaybına yol açacak bir yaklaşım. Modelden bir metin isteyeceksek öncelikle iyi prompt hazırlamak ve ardından da tek seferde sonuca ulaşmayı beklememek gerekiyor. Birkaç irdeleme ile geliştirme yani iterasyon sonrası taşlar yerine oturuyor, cevap olgunlaşıyor ve işe yarar bir hal alıyor. Unutmamak lazım ki bir sihirbazdan ziyade bir teknoloji var karşımızda.
- ÇERÇEVEYİ ÇİZ Kİ, HEDEFİNİ ANLASIN
Öncelikle çerçeveyi çok güzel çizmek gerekiyor. Aşağıdaki soruların cevaplarını ona vermek sadece ondan güzel bir cevap almanın ötesinde, yazıyı da hedef odaklı kurgulayabilmenin yöntemini sunuyor.
- METNİ KİM YAZIYOR? “Sen bir pazarlama uzmanısın, sen bir endüstriyel tasarım profesörüsün ve sürdürülebilirlik alanında uzmansın…
- HEDEF NE? “Bu yazıyı yapay zekâ etiğinin önemini anlatmak için yazıyorsun…”
- HEDEF KİTLE KİM? “Bu yazıyı şirketlerin üst düzey yöneticileri ve karar vericileri için, yapay zekâ etiğinin önemini anlatmak için yazıyorsun…”
- KAYNAK METİN EKLE
Kaynak metin ekleyerek çerçeveyi çizmek, kapsamı belirlemek çok faydalı. Artık nerdeyse her modele belge eklemek mümkün. Yalnız;
• çok fazla sayfa sayısı içeren bir belge de eklemek sakıncalı. Mümkünse metnin en ilgili kısımlarını seçmekte fayda var.
• birbiri ile çelişen bilgiler içeren iki farklı belge eklemek de sakıncalı çünkü bu durumda yapay zekâ aracının kafası karışabilir.
• her ne kadar PDF yüklemek mümkünse de, metni WORD dokümanına çevirip yüklemek şimdilik daha doğru sonuçlar almayı sağlıyor. Bazı yapay zekâ araçları PDF yüklenince darmadağın olabiliyor.
- “BİLMİYORSAN BİLMİYORUM DE”
Modelin hatalı bilgi üretme riskini azaltabilecek bir yöntem de ona “bilmiyorsan, bilmiyorum de” talimatını vermek çünkü çoğu büyük dil modeli, belirli yönergeleri takip etmek üzere eğitilmiştir. “Bilmiyorsan bilmiyorum de” gibi bir talimat, modelin direkt olarak “bilmiyorum” şeklinde cevap vermesini teşvik edebilir. Fakat model, çoğu zaman cevap vermek için eğitildiği için, talimatı uygulamadan yine de mantıklı bir tahminde bulunabilir. O yüzden denemekte zarar yok ama garanti eden bir yaklaşım da değil.
- DÖRT AŞAMALI ÇÖZÜM
Kolombiya Üniversitesi’nden bir araştırma ise yanlış bilgiyi azaltmak için dört aşamalı bir yol öneriyor. Hedefi tanımlayıp, promptu tasarladıktan sonra bir değerlendirme ve ardından yineleme yani iterasyon aşaması ile halüsinasyona çözüm bulmuşlar. Verilen cevapta aklına yatmayan yerleri sorgulamak gerekiyor. Sonra da tekrar ve tekrar yazdırarak geliştirmek gerekiyor.
- YİNELEME İÇİN ÇEŞİTLİ ETKİLİ YÖNTEMLER
- TERSİNE ETKİLEŞİM: Bu yöntem “metni hazırlamadan önce bana sorular sor” diyerek soru sormasını sağlamak. Böylece daha fazla düşünmesine olanak sağlamak.
- SORU İYİLEŞTİRME: “Sorumdaki eksiklikler üzerinden bir değerlendirme yap ve değerlendirme sonucunda bana daha detaylı ve kapsamlı bir soru öner” demek de işe yarayan yöntemlerden. Burada dikkat edilmesi gereken, önerdiği soru ile kapsamın dışına çıkmasını engellemek, o yüzden amacı ve kapsamı hatırlatarak bunu yapmakta fayda var.
- ALTERNATİF YAKLAŞIMLAR: Bu yöntem ile halüsinasyon problemine çözümün yanısıra olası önyargı risklerine de çözüm bulmak mümkün. “Avantajları ve dezavantajlarını değerlendir, farklı bakış açılarını irdele ve analiz et” demek bu noktada işe yarayacak hem yanlış bilgi hem de önyargı açısından tekrar bir değerlendirme yapmanın yolunu açacaktır.
- GERÇEK KONTROL LİSTESİ: Bu yöntem ise olmazsa olmazımız. “Yazdığın metni dayandırdığın bilgilerden yola çıkarak, bilgileri kontrol edebilmem için bir “gerçek kontrol listesi” hazırla diyerek bu listeyi ona yazdırabiliriz. Ardından da “şimdi hazırladığın gerçek kontrol listesine dayandırarak bilgilerini kontrol et” diyebiliriz.
- KAYNAK: Bu yöntem de vazgeçilmezimiz olmalı hatta her yazdığımız promptun sonuna eklemekte fayda var. “Bana verdiğin her bilgiyi dayandırdığın kaynağı belirt”
- STANFORD ÜNİVERSİTESİ’NDEN GELEN ÇÖZÜM
Stanford Üniversitesi ise RAG yöntemi kullanarak bilgilerin çeşitli kaynaklar doğrultusunda kontrol edildiği bir çözüm geliştirmiş. Kullanımı bedava olan “WikiChat” bir LLM’den yanıt oluşturuyor, sonra yalnızca sağlam temelli gerçekleri koruyarak ve bunları kaynaktan elde ettiği ek bilgilerle birleştirerek gerçekçi ve hatta ilgi çekici yanıtlar oluşturuyor. Gerektiğinde ise “bilmiyorum” diyor. Nerdeyse hiç yanlış bilgi vermiyor diyorlar. Doğruluk oranı 97.9. Şu an WikiChat üzerinde Wikipedia, Academic Papers, The African Times, General History of Africa ve KQED Podcasts kaynak olarak yer alıyor. KQED ise San Francisco, California merkezli kamu medya kuruluşu ve Forum, Bay Curious ve The Bay podcast’lerinin transkriptlerini içeriyor. Seçeneklerden dilediğimizi seçip onun üzerinden dil modeli ile konuşabiliyoruz. Bu uygulama şirketlerin adapte edeceği yöntemler için de bir kaynak niteliğinde üstelik açık kaynak olarak yayınlanmış durumda. Github’dan erişip, indirip kendi verimizle kendi versiyonumuzu yapmak mümkün.
Aysu Dericioğlu Egemen