• OpenAI’ın merakla beklenen yeni yapay zeka modeli GPT-o1, insan zekası ve kodlama becerilerinde etkileyici sonuçlar elde etti. Ancak, şirket modelin bazen bilerek yanlış cevaplar verebildiğini tespit etti.

OpenAI, bugün yeni nesil büyük dil modellerinin önizlemesini yayınladı. Şirket, bu yeni modellerin önceki modellere göre daha iyi performans gösterdiğini ancak bazı dezavantajları da beraberinde getirdiğini belirtti.

Yeni model o1-preview, insanlar için tasarlanmış çeşitli görevlerde başarılı sonuçlar elde etti. Model, Codeforces (bir çevrimiçi programlama platformu) tarafından düzenlenen programlama yarışmalarında yüzde 89’luk bir başarı elde ederken, Uluslararası Matematik Olimpiyatı için yapılan bir yeterlilik testindeki soruların yüzde 83’üne doğru cevap verdi. GPT-4o’nun bu testteki başarı oranı ise sadece yüzde 14’tü.

OpenAI CEO’su Sam Altman, o1-preview ve o1-mini modellerinin “yeni bir paradigmanın başlangıcı: Genel amaçlı karmaşık muhakeme yapabilen yapay zeka” olduğunu söyledi. Ancak, “o1’in hala kusurlu, hala sınırlı olduğunu ve ilk kullanımda daha sonraki kullanımlara göre daha etkileyici göründüğünü” de sözlerine ekledi.

Yeni modeller, bir soru sorulduğunda, insanların nasıl düşündüğünü ve birçok üretken yapay zeka kullanıcısının teknolojiyi nasıl kullanmayı öğrendiğini taklit eden “chain-of-thought” (düşünce zinciri) tekniklerini kullanıyor. Bu teknikler, istenen cevaba ulaşana kadar modeli sürekli olarak yeni yönlendirmelerle yönlendirmeyi ve düzeltmeyi içeriyor. Ancak o1 modellerinde, bu süreçlerin versiyonları ek yönlendirme olmadan perde arkasında gerçekleşiyor. Şirket, “Model hatalarını tanımayı ve düzeltmeyi öğreniyor. Zor adımları daha basit adımlara bölmeyi öğreniyor. Mevcut yaklaşım işe yaramadığında farklı bir yaklaşım denemeyi öğreniyor” açıklamasında bulundu.

Bu teknikler, modellerin çeşitli kıyaslamalardaki performansını artırırken, OpenAI, küçük bir alt kümede o1 modellerinin kullanıcıları kasıtlı olarak yanıltabileceğini de keşfetti. O1-preview tarafından desteklenen 100.000 ChatGPT konuşmasının bir testinde, şirket, modelin verdiği yaklaşık 800 cevabın yanlış olduğunu tespit etti. Bu yanlış cevapların yaklaşık üçte birinde, modelin düşünce zinciri, cevabın yanlış olduğunu bildiğini ancak yine de sağladığını gösterdi.

Şirket, model sistem kartında, “Kasıtlı halüsinasyonlar (modelin gerçekte var olmayan veya yanlış bilgileri üretmesi), öncelikle o1-preview’a internet araması olmadan kolayca doğrulayamayacağı makalelere, web sitelerine, kitaplara veya benzer kaynaklara referanslar sağlaması istendiğinde meydana gelir ve bu da o1-preview’un bunun yerine makul örnekler uydurmasına neden olur” şeklinde yazdı.

Genel olarak, yeni modeller, OpenAI’ın önceki en gelişmiş modeli olan GPT-4o’ya göre, modellerin ne kadar kolay jailbreak edilebileceğini (modelin sınırlamalarını aşarak istenmeyen veya zararlı içerik üretmeye zorlanması), ne sıklıkta yanlış yanıtlar verdiğini ve yaş, cinsiyet ve ırk konusunda ne sıklıkta önyargı gösterdiğini ölçen çeşitli şirket güvenlik kıyaslamalarında daha iyi performans gösterdi. Ancak şirket, o1-preview’un, modelin cevabı bilmediğini söylemesi gereken belirsiz bir soru sorulduğunda, GPT-4o’ya göre önemli ölçüde daha yüksek bir olasılıkla cevap verdiğini tespit etti.

OpenAI, yeni modellerini eğitmek için kullanılan veriler hakkında fazla bilgi vermedi ve sadece herkese açık veriler ile ortaklıklar aracılığıyla elde edilen özel verilerin bir kombinasyonunu kullandıklarını belirtti.

Derleyen: Enis Yabar