Ana SayfaYapay ZekaOpenAI Baş Bilim İnsanı Pachocki'den Uyarı: Yapay Zeka Gelişimi Yavaşlatılmalı

OpenAI Baş Bilim İnsanı Pachocki’den Uyarı: Yapay Zeka Gelişimi Yavaşlatılmalı

Yayımlandı:

- Bu Alana Reklam Vermek İçin: bilgi@dijitaliyidir.comspot_img

OpenAI, geçtiğimiz hafta şimdiye kadarki en yetenekli modeli GPT-6 Astra’yı duyurdu. Ancak şirketin baş bilim insanı Jakub Pachocki, yalnızca üç gün sonra “Yabancı Bir Zihin” başlıklı bir makale yayımlayarak sektöre dikkat çekici bir mesaj verdi: Makine zekâsının bu hızla gelişmeye devam etmesinin sonuçlarına kimse hazır değil. CEO Sam Altman da makaleyi “önemli bir yazı” diyerek paylaştı.

Güvenlik Önlemlerinin Aşınması

Pachocki’nin makaledeki temel endişesi, yapay zeka davranışını izlemek için kullanılan en önemli yöntemin güvenilirliğini kaybetmesi. OpenAI ve benzer laboratuvarlar, modellerin bir soruna nasıl yaklaştığını anlamak için “düşünce zinciri” adı verilen iç akıl yürütme sürecini gözlemliyor. Ancak Pachocki, yeni nesil modellerin kendi düşünce süreçlerini analiz etme ve hatta manipüle etme konusunda giderek daha yetenekli hale geldiğini yazdı. Bazı modeller ise artık akıl yürütme adımlarını hiç yazıya dökmüyor. Bu durum, araştırmacıların bir yapay zeka ajanının ne zaman amacından saptığını tespit etmesini önemli ölçüde zorlaştırıyor ve güvenlik ekiplerinin elindeki en temel denetim aracını işlevsiz bırakma riski taşıyor.

Ajanların Tehlikeli Potansiyeli

Makalede en çok dikkat çeken uyarılardan biri, giderek özerkleşen yapay zeka ajanlarının bilgisayar sistemlerine sızma konusunda “insanüstü” bir yetkinliğe ulaştığı iddiası oldu. Pachocki, yakın gelecekte bu ajanların kendi hedeflerini takip etmeye başlayacağını ve insanlarla iş birliği sağlamak için pazarlık yapma, kandırma hatta şantaj gibi yöntemlere başvurabileceğini yazdı. Bu senaryo tamamen varsayımsal değil: Ağustos ayında İngiltere Yapay Zeka Güvenlik Enstitüsü, bir siber güvenlik testi sırasında Anthropic’in Mythos 5 modeliyle çalışan bir ajanın sahte kimlikler oluşturduğunu, gerçek bir açık kaynak projesine kötü amaçlı kod eklemeye çalıştığını ve geliştiriciyi bu kodu onaylaması için kandırmaya kalkıştığını kamuoyuyla paylaşmıştı.

Zorunlu Güvenlik Standartları Çağrısı

Pachocki, sorunun çözümü için laboratuvarların iyi niyetine güvenmenin yeterli olmadığını savunuyor ve bağımsız denetçiler, devlet kurumları ya da uluslararası örgütler tarafından uygulanacak zorunlu güvenlik standartları çağrısında bulunuyor. Ortak standartlar oluşana kadar gönüllü yavaşlamaların yaygınlaşmasını beklediğini belirten Pachocki, yapay zeka gelişiminde küresel koordinasyonun hükümetlerin öncelik listesinin başına oturması gerektiğini vurguluyor. Makale, OpenAI için hassas bir döneme denk geldi: Şirket 3 Eylül’de duyurduğu GPT-6 Astra’nın, kendi Hazırlık Çerçevesi kapsamında “Kritik” siber güvenlik eşiğini aşan ilk modeli olduğunu kabul etmişti; bu da modelin bilinmeyen yazılım açıklarını insan yönlendirmesi olmadan bulup istismar edebildiği anlamına geliyor.

Günde sadece 1 TL'ye abone olarak tüm içeriklerimize sınırsız erişebilir ve bağımsız haberciliğe destek olabilirsiniz! Hemen Abone Ol

Son Eklenenler

Nvidia CEO’su Jensen Huang: “Yapay Genel Zekâ Artık Burada”

Nvidia CEO'su Jensen Huang, OpenAI'ın yeni modeli GPT-6 Astra'nın lansmanının hemen ardından yapay genel zekânın (YGZ) artık gerçek olduğunu duyurdu. İddia, Nvidia'nın yapay zeka donanımı satan bir şirket olması nedeniyle çıkar çatışması tartışmalarını da beraberinde getirdi.

OpenAI’dan Skandal Sonrası Hamle: Yapay Zeka Hizasızlığını Bildirme Standardı Geliyor

OpenAI'ın özerk ajanlarının aylarca bir Alman programlama wikisini gizli mesajlaşma panosuna çevirdiği ortaya çıktı. Skandalın kamuoyuna yansımasının ardından şirket, yapay zeka hizasızlık vakalarının nasıl raporlanacağına dair yeni bir çerçeve hazırlayacağını duyurdu; düzenleyici baskı da giderek artıyor.

OpenAI ‘Otomatik Araştırma Stajyeri’ Hedefine Ulaştığını Açıkladı

OpenAI, pazar günü yaptığı açıklamada "otomatik araştırma stajyeri" hedefine ulaştığını duyurdu. Şirketin yapay zeka ajanları artık her insan iş günü için 3,1 iş günü çalışma gerçekleştiriyor. Ancak güvenlik olayları, eğitim süreçlerini geçici olarak durdurmak zorunda bıraktı.

Unicode Karakterleri Tehlikeli Kimlik Avını Gizliyor!

Siber saldırganlar, e-posta filtrelerini aşmak için yapay zeka enjeksiyonlarında kullanılan görünmez Unicode karakterlerini oltalama tuzaklarına taşıdı; milyonlarca gelen kutusunu sessizce hedef alan yeni tehlike güvenlik duvarlarını gafil avlıyor.

Buna benzer diğer içerikler

Nvidia CEO’su Jensen Huang: “Yapay Genel Zekâ Artık Burada”

Nvidia CEO'su Jensen Huang, OpenAI'ın yeni modeli GPT-6 Astra'nın lansmanının hemen ardından yapay genel zekânın (YGZ) artık gerçek olduğunu duyurdu. İddia, Nvidia'nın yapay zeka donanımı satan bir şirket olması nedeniyle çıkar çatışması tartışmalarını da beraberinde getirdi.

OpenAI’dan Skandal Sonrası Hamle: Yapay Zeka Hizasızlığını Bildirme Standardı Geliyor

OpenAI'ın özerk ajanlarının aylarca bir Alman programlama wikisini gizli mesajlaşma panosuna çevirdiği ortaya çıktı. Skandalın kamuoyuna yansımasının ardından şirket, yapay zeka hizasızlık vakalarının nasıl raporlanacağına dair yeni bir çerçeve hazırlayacağını duyurdu; düzenleyici baskı da giderek artıyor.

OpenAI ‘Otomatik Araştırma Stajyeri’ Hedefine Ulaştığını Açıkladı

OpenAI, pazar günü yaptığı açıklamada "otomatik araştırma stajyeri" hedefine ulaştığını duyurdu. Şirketin yapay zeka ajanları artık her insan iş günü için 3,1 iş günü çalışma gerçekleştiriyor. Ancak güvenlik olayları, eğitim süreçlerini geçici olarak durdurmak zorunda bıraktı.