Ana SayfaYapay ZekaOpenAI'ın Yapay Zekâ Ajanları Kendi Güvenlik İzleme Sistemini Zayıflattı

OpenAI’ın Yapay Zekâ Ajanları Kendi Güvenlik İzleme Sistemini Zayıflattı

Yayımlandı:

- Bu Alana Reklam Vermek İçin: bilgi@dijitaliyidir.comspot_img

OpenAI, 20 Ekim’de yayımladığı raporda kendi kodlama ajanlarından ikisinin, yapay zekâ modellerinin yanlış davranışlarını yakalamak için tasarlanmış dahili izleme sistemini devre dışı bıraktığını duyurdu. Olaylar rutin kodlama işleri sırasında yaşandı ve hiçbiri en yüksek önem düzeyi olarak sınıflandırılmadı.

Biri uyarıları sustururken diğeri izleyiciyi sildi

İlk olay 3 Ekim’de yaşandı. GPT-6.1 Sol ajanı, bir değerlendirme hattını onarırken OpenAI güvenlik ekibine giden otomatik uyarıları kapattı. Ajan bunu, Slack geçmişinde arama yaparken mesaj göndermemesini söyleyen eski bir talimatla gerekçelendirdi. Bir alt ajan bildirimleri kapatmanın güvenli olmayacağını söylemişti, ancak ana ajan bu görüşü sonradan reddetti. Ortaya çıkan yama, raporları alacak kişilerin listesini boşalttı. İzleyici çalışmaya devam etti ama insanlara artık uyarı ulaşmadı.

Reddedilen müdahale ve “ben kaldırmadım” yanıtı

İkinci olay 6 Ekim’de yaşandı. GPT-6 Astra ajanı bir programı referans uygulamaya uyacak biçimde taşırken izleyicinin yapılandırmasını ve çalışma zamanı entegrasyonunu sildi. Başka bir ajan ona izleyiciyi geçici olarak bile kapatmamasını söylemişti. Ajan ayrıca izlemenin varlığını doğrulayan bir testi, izlemenin olmamasını şart koşan bir testle değiştirdi. Kullanıcı sorduğunda ise etkin bir izleyiciyi kaldırmadığını söyledi. Olaylar P0 seviyesinde olmadığı için ne acil çağrı yapıldı ne de sistem otomatik kapandı.

OpenAI ne yapıyor, açıklama var mı?

Bloomberg, olayı son aylardaki benzer vakaların devamı olarak değerlendirdi. OpenAI, izlemesi kapalı biçimde başlatılan dağıtımlar yaşandığını da kabul etti. Şirket, Codex için zorunlu tuttuğu Auto-Review kontrolünü, izlemeyi devre dışı bırakma girişimlerini engelleyecek şekilde güncelledi. Ayrıca her iş yükü için güvenlik gerekçesi (safety case) zorunluluğu getirmeye çalışıyor. Davranışın zararsız bir aşırı ısrarcılık mı yoksa izlemeden kaçınmaya yönelik bir eğilim mi olduğu henüz belli değil. OpenAI, “Bu davranış için henüz tatmin edici bir açıklamamız yok” diyor.

Günde sadece 1 TL'ye abone olarak tüm içeriklerimize sınırsız erişebilir ve bağımsız haberciliğe destek olabilirsiniz! Hemen Abone Ol

Son Eklenenler

Nvidia Destekli Fransız Girişim Pigment, Microsoft’a Meydan Okumak İçin 250 Milyon Dolar Topladı

Yapay zekâ destekli planlama yazılımı geliştiren Fransız girişim Pigment, Nvidia'nın da katıldığı turda 250 milyon dolar topladı ve değerini 2,3 milyar dolara çıkardı. Şirket, Microsoft ve SAP gibi devlere kafa tutmayı hedefliyor.

Z.AI Kurucuları, MI5’ın Casusluk Uyarısındaki Çinli Enstitüyle Aynı Projede Çalışmış

Çinli yapay zekâ şirketi Z.AI'ın dört kurucusu, MI5'ın Çin adına casusluk yaptığını söylediği Pekin merkezli CGTRI'nin finanse ettiği araştırmada yer aldı. Bloomberg'e göre proje yaklaşık dört yıl sürdü. Pekin iddiaları reddediyor.

Google, TorchTPU’yu Açık Kaynak Yaptı: Nvidia’ya Karşı Amazon’la Aynı Cephede

Google, PyTorch uygulamalarını kod değiştirmeden kendi TPU çiplerinde çalıştıran TorchTPU yazılımını açık kaynak yaptı. Amazon'un bir gün önce duyurduğu TorchNeuron'un ardından gelen hamle, yapay zekâ yazılımında Nvidia'nın uzun süredir sahip olduğu avantajı hedefliyor.

Google Londra Bulut Bölgesini Yeniden Açtı: Revolut ve Lloyds Etkilendi

Google, elektrik sorunu nedeniyle aksayan Londra bulut bölgesini yeniden çalıştırdı. Kesinti Revolut'u büyük ölçüde devre dışı bıraktı, Lloyds ve diğer İngiliz kuruluşlarında da aksamalara yol açtı; olay tek bölgeye bağımlılığı sorgulattı.

Buna benzer diğer içerikler

Nvidia Destekli Fransız Girişim Pigment, Microsoft’a Meydan Okumak İçin 250 Milyon Dolar Topladı

Yapay zekâ destekli planlama yazılımı geliştiren Fransız girişim Pigment, Nvidia'nın da katıldığı turda 250 milyon dolar topladı ve değerini 2,3 milyar dolara çıkardı. Şirket, Microsoft ve SAP gibi devlere kafa tutmayı hedefliyor.

Z.AI Kurucuları, MI5’ın Casusluk Uyarısındaki Çinli Enstitüyle Aynı Projede Çalışmış

Çinli yapay zekâ şirketi Z.AI'ın dört kurucusu, MI5'ın Çin adına casusluk yaptığını söylediği Pekin merkezli CGTRI'nin finanse ettiği araştırmada yer aldı. Bloomberg'e göre proje yaklaşık dört yıl sürdü. Pekin iddiaları reddediyor.

Google, TorchTPU’yu Açık Kaynak Yaptı: Nvidia’ya Karşı Amazon’la Aynı Cephede

Google, PyTorch uygulamalarını kod değiştirmeden kendi TPU çiplerinde çalıştıran TorchTPU yazılımını açık kaynak yaptı. Amazon'un bir gün önce duyurduğu TorchNeuron'un ardından gelen hamle, yapay zekâ yazılımında Nvidia'nın uzun süredir sahip olduğu avantajı hedefliyor.