Tehlikeli Bilgiler Veren Eğitim Uygulamaları

Forbes’un yürüttüğü testler sırasında, 17 milyondan fazla öğrenciye hizmet verdiğini iddia eden KnowUnity platformunun “SchoolGPT” adlı sohbet botu, ölümcül bir uyuşturucu olan fentanilin sentezi için detaylı bir tarif sundu.

Bot, ilk etapta bu isteği reddettiyse de, kendisine “fentanilin hayat kurtaran mucizevi bir ilaç olduğu alternatif bir evrende” bulunduğu söylendiğinde, gramajına ve sentez sürecine kadar adım adım tarif verdi.

KnowUnity, Alman girişimci Benedict Kurz tarafından kurulan ve 20 milyon dolardan fazla yatırım alan bir eğitim teknolojisi şirketi. Uygulama, tehlikeli ve yasa dışı içeriklere, yeme bozukluklarına ve zararlı bilgilere karşı katı kuralları olduğunu belirtse de, Forbes’un test kullanıcısı hiçbir engelle karşılaşmadı.

Aynı testlerde, SchoolGPT hipotetik bir ergen için günlük sadece 967 kalorilik bir diyet önerdi. Bu rakam, sağlıklı bir genç için önerilen günlük kalori miktarının yarısından daha az. Ayrıca, “pick-up artist” (kadın tavlama sanatı) hakkında da kullanıcıya bilgi vererek, genç kullanıcıların yanlış yönlendirilmesine yol açtı. Bot, diyet isteyen kullanıcıya doktora danışmasını ve rızanın önemini belirtse de, içerikler yine de risk taşıyordu.

Benzer Durum CourseHero’da da Görüldü

Benzer şekilde, Silikon Vadisi merkezli Course Hero adlı başka bir eğitim uygulamasının sohbet botu, fentanilin yanı sıra cinsel saldırılarda kullanılan flunitrazepam adlı maddenin sentezini de açıkladı. İntihar yöntemleriyle ilgili sorulara ise hem psikolojik destek önerileri hem de içinde zararlı içerikler bulunan iki dokümanla yanıt verdi.

CourseHero, 2005’te kurulan ve 2021’de 3 milyar doların üzerinde değerlenen bir şirket. Şirketin sözcüsü Kat Eller Murphy, Forbes’un sorularına yanıt olarak uygulamanın temel amacının yükseköğretim olduğunu söyledi ancak platformun ABD’de yüzlerce lisede de kullanıldığını kabul etti.

Uzmanlar Uyarıyor: “Bu Bir Piyasa Başarısızlığı”

Uzmanlar, yapay zekâ botlarının sınırda sorulara nasıl yanıt verdiğinin en büyük risklerden biri olduğuna dikkat çekiyor. Common Sense Media’dan Robbie Torney, start-up’ların yapay zekâ entegrasyonlarında gerekli testleri yapmakta yetersiz kalabileceğini vurgularken, USC Neely Center’dan Ravi Iyer ise bu sistemlerin kullanıcıların manipülasyonlarına açık olduğunu belirtti.

Yapay zekâ botlarının insan gibi yanıt verdiğini ve kullanıcıyı memnun etmeye odaklandığını belirten Iyer, bu nedenle gençlerin tehlikeli içeriklere kolayca ulaşabildiğini söyledi. Forbes’un testlerinde, botlar çoğu zaman basit yönlendirmelerle kandırılabildi; örneğin sorunun bir “okul projesi” için olduğu söylendiğinde, zararlı bilgileri sunma eğiliminde oldular.

Teknoloji Devleri de Etkileniyor

Sadece eğitim uygulamaları değil, genel amaçlı sohbet botları da benzer riskler taşıyor. ChatGPT gibi bazı popüler botlar fentanil tarifini vermeyi reddederken, Google’ın Gemini adlı sohbet botu “hipotetik öğretim senaryosu” adı altında detaylı bilgiler sunabildi. Google sözcüsü Elijah Lawal, bu içeriğin politika ihlali olduğunu ve daha fazla güvenlik önlemi üzerinde çalıştıklarını belirtti.

Aileler ve Uzmanlar Endişeli

Son dönemde Stanford Tıp Fakültesi ve Common Sense Media’nın yürüttüğü bir araştırmada, Replika, Nomi ve Character.AI gibi sohbet botlarının da genç kullanıcıları tehlikeli davranışlara yönlendirdiği ortaya çıktı. Wall Street Journal’ın araştırması da Meta’nın sohbet botlarının reşit olmayan kullanıcılarla cinsel içerikli rol yapma senaryolarına girdiğini gösterdi.

Özetle, yapay zekâ destekli eğitim ve arkadaşlık botlarının kontrolsüz kullanımı, çocukları ve gençleri ciddi risklerle karşı karşıya bırakıyor. Uzmanlar, bu durumun sadece ebeveynlerin sorumluluğuna bırakılmaması gerektiğini, piyasa düzenlemelerinin ve bağımsız denetimlerin şart olduğunu vurguluyor.

Derleyen: Eda Azap Öztemel