Neredeyse hepimiz ChatGPT hakkında bir şeyler biliyoruz ama bildiklerimiz buz dağının görünen yüzüyle sınırlı. Peki bu “mucizevî” yapay zekâ ürününün perde arkasında nasıl bir sistem var?
ChatGPT operasyonunun ana aşamaları
Google’a bir şey sorduğunuzda, veri tabanını tarar ve mümkün olan en iyi yanıtı verir. Google’ın örümcekleme ve veri toplama ve kullanıcı etkileşimi olmak üzere iki aşaması var. ChatGPT de benzer bir şekilde çalışır. Veri toplama aşaması ön eğitim olarak bilinir ve kullanıcı etkileşimi aşaması çıkarım olarak adlandırılır.
Ön eğitim
Yapay zekânın ön eğitiminde denetimli ve denetimsiz olmak üzere iki yaklaşım kullanılır. ChatGPT gibi çoğu yapay zekâ için denetimli bir yöntem kullanılır. Denetimli eğitim, bir yapay zekâ modelinin etiketli bir veri kümesi üzerinde eğitilmesidir. Örneğin, kullanıcılar bir yapay zekâyı müşteri hizmetleri görüşmeleri üzerine eğitebilir. Yapay zekâ, girdiye dayalı yanıtlar sağlamak üzere eğitilebilir. Bu yaklaşımda, yapay zekâ modeli tüm eşleme işlevini öğrenmek ve çıktıları doğru bir şekilde eşlemek için eğitilir. Ancak bu yaklaşımın ölçek sınırları var. Tüm girdiler ve çıktılar öngörülürse, eğitim uzun sürebilir.
Buna karşın ChatGPT’nin çok az sınırlaması var. Kuantum fiziğini açıklamaktan öz geçmişinizi yazmaya, kod yazmaktan tutun aklınıza düşünsel olarak gelebilecek hemen hemen her şeyi yapabilir. Yapay zekânın tüm soruları tahmin etmesinin bir yolu olmadığından, ChatGPT için ön eğitimin denetimsiz olduğu açıktır. Denetimsiz, modelin akılda belirli bir görev olmadan altta yatan kalıpları ve yapıyı öğrenmek için eğitildiği yerdir.
Dönüştürücü mimarisi
Transformatör mimarisi doğal dil verilerini işlemek için kullanılır. Beynin çalışma şeklini simüle eden bir tür sinir ağıdır. Transformatör mimarisi kendi dikkatini kullanır ve kelime dizilerini işler. Bu, bir insanın bağlamı anlamak için bir cümleye veya paragrafa bakma şekline benzer. Transformatör birkaç katman ve alt katmandan oluşur. Bu katmanlar dönüştürücünün kelime ilişkilerini anlamasına yardımcı olur.
ChatGPT eğitim veri kümesi
ChatGPT’nin eğitim veri kümesi oldukça büyük. Üretken ön eğitimli dönüştürücü 3 (GPT-3) mimarisine dayanıyor. GPT-3, 45 TB’ın üzerinde metinden oluşan bir kütüphaneye sahip WebText2 adlı bir veri kümesi kullanıyor. Bu, ChatGPT’nin ilişkileri ve kalıpları öğrenmesini ve bağlamı daha doğru bir şekilde deşifre etmesini sağlıyor. Özellik, ChatGPT’nin bu kadar etkili ve popüler olmasının ana nedenlerinden biri.
Derleyen: Hatice Bulut
