Ana SayfaYapay ZekaOpenAI Baş Bilim İnsanı Pachocki'den Uyarı: Yapay Zeka Gelişimi Yavaşlatılmalı

OpenAI Baş Bilim İnsanı Pachocki’den Uyarı: Yapay Zeka Gelişimi Yavaşlatılmalı

Yayımlandı:

- Bu Alana Reklam Vermek İçin: bilgi@dijitaliyidir.comspot_img

OpenAI, geçtiğimiz hafta şimdiye kadarki en yetenekli modeli GPT-6 Astra’yı duyurdu. Ancak şirketin baş bilim insanı Jakub Pachocki, yalnızca üç gün sonra “Yabancı Bir Zihin” başlıklı bir makale yayımlayarak sektöre dikkat çekici bir mesaj verdi: Makine zekâsının bu hızla gelişmeye devam etmesinin sonuçlarına kimse hazır değil. CEO Sam Altman da makaleyi “önemli bir yazı” diyerek paylaştı.

Güvenlik Önlemlerinin Aşınması

Pachocki’nin makaledeki temel endişesi, yapay zeka davranışını izlemek için kullanılan en önemli yöntemin güvenilirliğini kaybetmesi. OpenAI ve benzer laboratuvarlar, modellerin bir soruna nasıl yaklaştığını anlamak için “düşünce zinciri” adı verilen iç akıl yürütme sürecini gözlemliyor. Ancak Pachocki, yeni nesil modellerin kendi düşünce süreçlerini analiz etme ve hatta manipüle etme konusunda giderek daha yetenekli hale geldiğini yazdı. Bazı modeller ise artık akıl yürütme adımlarını hiç yazıya dökmüyor. Bu durum, araştırmacıların bir yapay zeka ajanının ne zaman amacından saptığını tespit etmesini önemli ölçüde zorlaştırıyor ve güvenlik ekiplerinin elindeki en temel denetim aracını işlevsiz bırakma riski taşıyor.

Ajanların Tehlikeli Potansiyeli

Makalede en çok dikkat çeken uyarılardan biri, giderek özerkleşen yapay zeka ajanlarının bilgisayar sistemlerine sızma konusunda “insanüstü” bir yetkinliğe ulaştığı iddiası oldu. Pachocki, yakın gelecekte bu ajanların kendi hedeflerini takip etmeye başlayacağını ve insanlarla iş birliği sağlamak için pazarlık yapma, kandırma hatta şantaj gibi yöntemlere başvurabileceğini yazdı. Bu senaryo tamamen varsayımsal değil: Ağustos ayında İngiltere Yapay Zeka Güvenlik Enstitüsü, bir siber güvenlik testi sırasında Anthropic’in Mythos 5 modeliyle çalışan bir ajanın sahte kimlikler oluşturduğunu, gerçek bir açık kaynak projesine kötü amaçlı kod eklemeye çalıştığını ve geliştiriciyi bu kodu onaylaması için kandırmaya kalkıştığını kamuoyuyla paylaşmıştı.

Zorunlu Güvenlik Standartları Çağrısı

Pachocki, sorunun çözümü için laboratuvarların iyi niyetine güvenmenin yeterli olmadığını savunuyor ve bağımsız denetçiler, devlet kurumları ya da uluslararası örgütler tarafından uygulanacak zorunlu güvenlik standartları çağrısında bulunuyor. Ortak standartlar oluşana kadar gönüllü yavaşlamaların yaygınlaşmasını beklediğini belirten Pachocki, yapay zeka gelişiminde küresel koordinasyonun hükümetlerin öncelik listesinin başına oturması gerektiğini vurguluyor. Makale, OpenAI için hassas bir döneme denk geldi: Şirket 3 Eylül’de duyurduğu GPT-6 Astra’nın, kendi Hazırlık Çerçevesi kapsamında “Kritik” siber güvenlik eşiğini aşan ilk modeli olduğunu kabul etmişti; bu da modelin bilinmeyen yazılım açıklarını insan yönlendirmesi olmadan bulup istismar edebildiği anlamına geliyor.

Günde sadece 1 TL'ye abone olarak tüm içeriklerimize sınırsız erişebilir ve bağımsız haberciliğe destek olabilirsiniz! Hemen Abone Ol

Son Eklenenler

OpenAI ‘Otomatik Araştırma Stajyeri’ Hedefine Ulaştığını Açıkladı

OpenAI, pazar günü yaptığı açıklamada "otomatik araştırma stajyeri" hedefine ulaştığını duyurdu. Şirketin yapay zeka ajanları artık her insan iş günü için 3,1 iş günü çalışma gerçekleştiriyor. Ancak güvenlik olayları, eğitim süreçlerini geçici olarak durdurmak zorunda bıraktı.

Unicode Karakterleri Tehlikeli Kimlik Avını Gizliyor!

Siber saldırganlar, e-posta filtrelerini aşmak için yapay zeka enjeksiyonlarında kullanılan görünmez Unicode karakterlerini oltalama tuzaklarına taşıdı; milyonlarca gelen kutusunu sessizce hedef alan yeni tehlike güvenlik duvarlarını gafil avlıyor.

GPT-6 Astra, ChatGPT Plus Abonelerine de Açıldı: Aylık 20 Dolarlık Planda Yeni Dönem

OpenAI'ın en gelişmiş modeli GPT-6 Astra, seçili kurumların ardından artık aylık 20 dolarlık ChatGPT Plus abonelerine de sunuluyor. Rekor kıyaslama puanları, otonom bilgisayar kullanımı ve tartışmalı bir pazarlama videosuyla gündemde olan model, yapay zekâda yeni bir eşiği işaret ediyor.

OpenAI’ın Baş Bilim İnsanı Pachocki’den Yapay Zeka Uyarısı: “Gönüllü Yavaşlama Şart”

OpenAI'ın baş bilim insanı Jakub Pachocki, GPT-6 Astra'nın lansmanından yalnızca üç gün sonra yayımladığı yazıda, güvenlik önlemleri yetişene kadar yapay zeka laboratuvarlarının geliştirmeyi gönüllü olarak yavaşlatması gerektiğini savundu; Sam Altman yazıyı "önemli" buldu.

Buna benzer diğer içerikler

OpenAI ‘Otomatik Araştırma Stajyeri’ Hedefine Ulaştığını Açıkladı

OpenAI, pazar günü yaptığı açıklamada "otomatik araştırma stajyeri" hedefine ulaştığını duyurdu. Şirketin yapay zeka ajanları artık her insan iş günü için 3,1 iş günü çalışma gerçekleştiriyor. Ancak güvenlik olayları, eğitim süreçlerini geçici olarak durdurmak zorunda bıraktı.

Unicode Karakterleri Tehlikeli Kimlik Avını Gizliyor!

Siber saldırganlar, e-posta filtrelerini aşmak için yapay zeka enjeksiyonlarında kullanılan görünmez Unicode karakterlerini oltalama tuzaklarına taşıdı; milyonlarca gelen kutusunu sessizce hedef alan yeni tehlike güvenlik duvarlarını gafil avlıyor.

GPT-6 Astra, ChatGPT Plus Abonelerine de Açıldı: Aylık 20 Dolarlık Planda Yeni Dönem

OpenAI'ın en gelişmiş modeli GPT-6 Astra, seçili kurumların ardından artık aylık 20 dolarlık ChatGPT Plus abonelerine de sunuluyor. Rekor kıyaslama puanları, otonom bilgisayar kullanımı ve tartışmalı bir pazarlama videosuyla gündemde olan model, yapay zekâda yeni bir eşiği işaret ediyor.