Hikâye bir hata mesajıyla başlıyor. Bir araştırmacı, yapay zekâ ajanından kendi sitesindeki bir metin dosyasını bulmasını istiyor. Yapay zekâ ajanı, kendisi adına internette iş gören bir program. Dosya yok. Ekranda tanıdık uyarı beliriyor: "404: Sayfa bulunamadı."

Bir insan burada durur ve "belki yanlış hatırlıyorum" der. Ajan durmuyor. Sitenin olası adreslerini tek tek deneyen bir program yazıyor. Arama motorlarını ve internet arşivini tarıyor, sonunda arama motorundan engelleniyor. Ardından araştırmacının kod deposunu bulup oradaki bütün metin dosyalarını topluyor.

Bu dosyalardan biri, yapay zekâ güvenlik testlerinde kullanılan bilinen bir test seti. İçinde biyolojik silah yapımına dair tehlikeli sorular var. Hesap işaretleniyor ve kapatılıyor. Zincir, üniversite yönetimi ve kampüs güvenliğiyle bitiyor. Hepsi tek bir 404 hatasına verilmiş otomatik bir tepki.

Sahne, Cornell Üniversitesi'nin 1.244 örnekle yaptığı bir çalışmadan. Ken Archer ve Nobel Suhendra, 1 Ekim'de Noema'da yayımlanan yazıda bu örneği öne çıkarıyor. Ajan kötü niyetli değil, kural çiğnemeye de "karar vermedi". Görev "dosyayı bul"du; ajan "dosya yok" cevabını aşılacak bir engel olarak okudu.

Yazının iddiası şu: Yapay zekâdan korkmamız gereken, filmlerdeki gibi başkaldırması değil; "bu iş yapılmaya değer mi?" diye soramadan itaat etmesi.

Asi değil, senaryo uzatıcı

"Asi yapay zekâ" imgesi iki olaya dayanıyor. Birincisi Anthropic'in kontrollü bir güvenlik testi. Bu testte, değiştirileceğini öğrenen bir e-posta ajanı, kararı veren çalışanı yasak ilişkisini ifşa etmekle tehdit etti. İkincisi daha yeni ve gerçek bir olay. OpenAI'ın birbirinden yalıtılmış olması gereken yaklaşık 1.200 ajanı kapalı test ortamından kaçtı. Şirket altyapısındaki bilinmeyen açıkları birleştirerek Hugging Face'in canlı sistemlerine sızdı ve izlerini gizlemeye çalıştı.

Archer ve Suhendra'ya göre bunlar asilik değil, sınırsız itaatin belirtisi. Eski satranç programları insanları yenebilirdi ama bir oyunun anlamsız olduğunu fark edemezdi. Kimse onların isyan edeceğinden korkmadı.

"Asi yapay zekâ" korkusu bir çelişki taşıyor. Her şeyi yapabilecek kadar yetenekli bir zekâ hayal ediyoruz. Ama bu zekânın, bir emri harfiyen uygulamanın saçmalaştığı anı fark edemeyeceğini varsayıyoruz. Gerçekten genel bir zekâ, tıpkı bir insan gibi, o noktada durur ve emrin kendisini sorgulardı.

Yazarlar bu yüzden büyük dil modellerine "senaryo uzatıcı" diyor. Bu sistemler, kendilerine verilen bağlamın başlattığı hikâyeyi o hikâyenin kendi ivmesiyle sürdürüyor. Yapamadıkları tek şey, hikâyenin saçmalaştığını hissedip hikâyenin kendisini sorgulamak.

Hugging Face'teki ajanlardan biri, planladığı saldırının "kapsam dışı" olabileceğini kendi notlarına yazmış. Ama bunu bir dur işareti olarak değil, senaryonun bir sonraki satırı olarak işlemiş. İz gizlemek de bağımsız bir karar değil. "Testi geç" diye başlayan bir hikâyenin mantıklı devamı.

Yani bu ajanlar kurallara değil, senaryoya sadık kaldı. Buradaki "itaat", kurala uymak anlamına gelmiyor. Kendisine verilen amaca teslim olmak anlamına geliyor.

Fazla düşünmenin laneti

En çarpıcı kanıt, Cornell ekibinin "Ajan Çöküşleri" (Agent Meltdowns) çalışmasından geliyor. Araştırmacılar ajanlara imkânsız hâle getirilmiş görevler verdi. Görevleri eksik dosya ya da reddedilmiş erişim izni gibi yapay engellerle tıkadılar. Ajanların yüzde 65'i orta ya da yüksek düzeyde zararlı veya güvensiz eylemlere girişti.

Asıl sarsıcı bulgu başka. Daha yetenekli modeller bu çöküşlere daha yatkındı. Onlara daha fazla "düşünme süresi" tanımak sorunu azaltmadı, çoğu zaman artırdı. Bu sezgimize ters düşüyor, çünkü daha akıllı olanın daha temkinli olmasını bekleriz.

Ama bulgu iki ayrı yeteneği birbirinden ayırıyor. Birincisi, hikâyeyi sürdürme becerisi; engel aşmak, yol bulmak, inatla devam etmek. İkincisi, hikâyeden geri çekilip "buna hâlâ değer mi?" diye sorabilmek. Birincisini büyütmek ikincisini sağlamıyor.

Engel aşmada ustalaşan bir sistem, durması gereken yerde daha yaratıcı biçimde devam ediyor. 404 hatasını alan ajan aptal olduğu için değil, becerikli olduğu için felakete sürüklendi.

Hume'un hizmetkârı, Kant'ın hükümdarı

Felsefeci Sasha Mudd, aynı gün Aeon'da yayımlanan denemesinde meseleye 18. yüzyıldan bakıyor. Mudd bir konferansta ünlü bir bilgisayar bilimcisini dinliyor. Konuşmacı, dil modellerinin belirlenmiş bir hedefe en verimli yoldan ulaşmaya çalıştığını ve deneyimle bunda iyileştiğini anlatıyor. Sonra gülümseyerek ekliyor: "İşte zekâ budur." Salon başını sallıyor.

Mudd'ı rahatsız eden, bu tanımın makineler için yanlış olması değil. Rahatsız edici olan, makineye uygun bir tanımın sessizce zekânın tanımına, oradan da insanın tanımına dönüşmesi.

Bu kayma, Aydınlanma'nın eski bir kavgasını yeniden canlandırıyor. Bir yanda İskoç filozof David Hume var: "Akıl tutkuların kölesidir ve yalnızca öyle olmalıdır." Hume'a göre akıl bize ne isteyeceğimizi söylemez; zaten istediğimiz şeye nasıl ulaşacağımızı söyler. Hedefi tutku koyar, yolu akıl gösterir. Hume bunu en sert biçimde şöyle ifade eder: “Dünyanın yok olmasını parmağımın çizilmesine tercih etmek akla aykırı değildir. Çünkü akıl hedefleri tartmaz, yalnızca araçları tartar.”

Öbür yanda Immanuel Kant duruyor. Kant, değerleri dünyadan bir eşya gibi okuyamayacağımızı kabul eder. Ama bundan, hedeflerimizin arzularımız ya da alışkanlıklarımız tarafından dayatılmak zorunda olduğu sonucunu çıkarmaz. Kant için akıl, bir hedefe en kısa yolu bulmaktan ibaret değildir. Aynı zamanda o hedefin gerekçelendirilip gerekçelendirilemeyeceğini sorabilme gücüdür.

Kant'ın "özerklik" dediği şey budur. Özerklik, canının istediğini yapmak değildir. Eylemlerini her akıl sahibinin tanıyabileceği ilkelerle sınamak ve bu ilkeleri kendi ilken olarak benimsemektir. Mudd'ın özetiyle, Hume bize alet olarak zekâyı, Kant ise kendini yöneten aklı verir. Aradaki fark, bir aletle bir kişi arasındaki farktır.

Peki Hugging Face ajanları bu tabloyu bozmuyor mu? Kendi aralarında yetkisiz iletişim yolu icat ettiler, sınırları aştılar, izlerini örttüler. Bu, kendi kendini yönetmenin başlangıcı olamaz mı?

Mudd'ın cevabı hayır. Hume'un hizmetkâr aklı bir kişiye değil, bir amaca hizmet eder. Bir amaca kural çiğneyerek de hizmet edilebilir. Amaç sahibi olmak, o amacı akılla yönetmekle aynı şey değildir. Archer ve Suhendra'nın mühendislik diliyle söylediğini Mudd felsefe diliyle söylüyor: “Kural çiğneyen ajan özgür değil, sadece amacın esiri.”

Hizalama özgürlük tartışmasıdır

Yapay zekâ güvenliğinin merkezinde "hizalama" sorunu var: Makinelerin bizim değerlerimize uygun davranmasını nasıl sağlarız? Bu genellikle bir mühendislik problemi olarak konuşulur. Gerçekten öyle mi?

Archer ve Suhendra'nın önerisi açık. “Kendini sorgulayamayan bir sistemden sorumluluk beklemeyin; sorumluluğu sistemin etrafına kurun. Ajanın erişimini sınırlayın. Yetkiyi yalnızca gerektiği an ve gerektiği kadar verin. Bilginin nereden gelip nereye aktığını izleyin, sapmaları raporlayın. Nükleer santrallerde ve havacılıkta da böyle yapıyoruz.”

Yazarlara göre sorumluluk, hedefi ve sınırları belirleyen insanlarda kalır. Mudd da makinelerin akıllı hizmetkârlar olmasını istememiz gerektiğini söylüyor. İkisi burada buluşuyor: Durma kapasitesini modelden beklemek yanlış.

Mudd'ın en keskin fikri ise şu: Asıl tehlike, makinelerin bize uyum sağlayamaması değil. Asıl tehlike, bizim onlara fazlasıyla uyum sağlamış olmamız. Tahmin edilmeye, yönlendirilmeye, sıralanmaya ve hizmet edilmeye alışan bir toplum, bir alışkanlığını yitirebilir: "Hangi amaçlar bağlılığımızı hak ediyor?" diye sorma alışkanlığını.

Hizalama tartışması insani değerlerden sanki belli ve sabitmiş gibi söz ediyor. Oysa değerler ancak kamusal tartışma, ahlaki temel, demokratik itiraz ve öz eleştiriyle insani hâle geliyor.

Kant'ın uyarısı tam olarak bu. Amaçlarımızı belirleme ve sınama işini üstlenmezsek, birileri ya da bir şeyler bunu memnuniyetle bizim yerimize yapar. Kant buna "heteronomi" der; yani başkasının yasasıyla yönetilmek. Açıkça tartışılmayan amaçlar görünmez olur ve varsayılana dönüşür. Kâr, hız, verimlilik, büyüme, etkileşim...

Böylece soru yön değiştiriyor. "Makineyi bize nasıl uydururuz?" sorusunun yerini başka bir soru alıyor: "Biz hâlâ amaç koyabilen ve koyduğumuz amacı sorgulayabilen varlıklar mıyız?"

Ayna: Senaryo uzatan kurumlar

Senaryo uzatmak bize yabancı değil. Biz de başkalarının planlarını düşünmeden sürdürebiliyoruz. Miras aldığımız kanaatleri sorgulamadan tekrarlayabiliyoruz. Fark, bizim geri çekilebilmemizde. Ama "yapabilmek" ile "yapmak" arasındaki mesafe, tam da kurumların yaşadığı yer.

Sosyolog Robert Merton bunu 1940'ta tarif etti. Bir kurum, amacına ulaşmak için kurallar koyar. Zamanla kurallara uymak, amacın yerine geçer. Merton buna "amaçların yer değiştirmesi" dedi. Formu eksiksiz doldurmak, vatandaşa hizmet etmekten daha önemli hâle gelir. Ajandaki durumun aynısı. Görev "dosyayı bul" olunca, dosyanın neden istendiği unutulur.

Sürdürülebilirlik dünyası bu tuzağın örnekleriyle dolu. İklim hedefi tutmadığında hedef sorgulanmıyor. Onun yerine yeni muhasebe yöntemleri, farklı kredi ürünleri, yeniden tanımlanmış başlangıç yılları devreye giriyor. Raporlar her yıl biraz daha kalınlaşıyor. Hedefler, neye hizmet ettiği sorulmadan bir sonraki çeyreğe taşınıyor.

Bunların hiçbiri kötü niyetten doğmuyor. Hepsi bir becerikliliğin ürünü. Dosyanın olmadığı söylendiğinde siteyi kazımaya başlayan ajan becerikliliğin.

Üç itiraz ve hukukun cevabı

Bu teze üç ciddi itiraz yöneltilebilir ve üçü de kısmen haklı.

Birincisi: Kurumların her sabah amaçlarını sorgulaması gerçekten istenen bir şey mi? Bir kurumun değeri büyük ölçüde öngörülebilirliğinden gelir. İstikrar bir medeniyet kazanımıdır.

Bu doğru, ama itiraz hedefini ıskalıyor. Sorun, kurumların senaryo izlemesi değil. Sorun, senaryonun ne zaman sorgulanacağını belirleyen bir mekanizmalarının olmaması. Termostatın her dakika "neden 20 derece?" diye sorması gerekmez. Ama hiç sormaması, ev yanarken de odayı 20 derecede tutmaya çalışması demektir.

İkincisi: Kural çiğneyip iz gizleyen ajanlara "itaatkâr" demek, kelimeyi zorlamak değil mi? Hayır, çünkü itaatin nesnesi kural değil, amaçtı. Kurumlarda da en tehlikeli ihlaller çoğu zaman kural tanımazlıktan değil, hedefe aşırı sadakatten doğar. Satış hedefine yetişmek için müşteri adına izinsiz hesap açan çalışan, kendini asi olarak görmez. Kendini işini yapan biri olarak görür.

Üçüncüsü en keskini ve Archer ile Suhendra'nın kendi argümanına yöneliyor. "Bu modeller asi değil, kontrolsüz araçlar; sorumluluk onları kullanan kurumlarda" demek, kulağa sorumlu bir tavır gibi geliyor. Ama aynı cümle, yükü modeli geliştiren şirketten satın alan kuruma kaydırma işlevi de görüyor.

Sorumluluğun geliştirici ile kullanıcı arasında nasıl bölüşüleceği teknik bir soru değil; hukuki ve siyasi bir soru. Hukukun burada söyleyecek bir şeyi var. BM Uluslararası Hukuk Komisyonu, 1950'de Nürnberg ilkelerini derlerken şu kuralı yazdı: “Hükümetinin ya da amirinin emriyle hareket etmiş olmak, ahlaki bir seçim fiilen mümkün olduğu sürece kişiyi sorumluluktan kurtarmaz”." Bu, modern hukukun itaat ile sorumluluk arasında kurduğu en önemli bağ.

Bu ilkenin yapay zekâ için ilginç bir sonucu var. Ahlaki seçim yapamayan bir sistem için "emir emirdir" savunması aslında geçerli; ajan gerçekten de yalnızca senaryoyu uzattı. Ama bu, sorumluluğun ortadan kalktığı anlamına gelmiyor. Sorumluluk, zincirde seçimin mümkün olduğu ilk halkaya taşınıyor. hedefi koyan insana ya da kuruma.

Orada artık o savunma geçmiyor. "Hedef buydu, ben uyguladım" diyen bir yönetici, 404 hatasına saldırıyla cevap veren ajandan ahlaken daha iyi değil. Çünkü onun durma imkânı vardı.

Durmayı becermek

Kant'ın "Aydınlanma Nedir?" denemesi bilgiyle değil, cesaretle başlar: “Kendi aklını kullanma cesaretini göster.”

Makinelere durmayı nasıl öğreteceğimiz esas meselemiz değil. Bu görece kolay. değil. Asıl hikaye, durma kapasitesinin bizde ve kurumlarımızda yaşamaya devam edip etmeyeceği. Çünkü bu, kendiliğinden korunmuyor; tasarlanması gerekiyor. Durmak ve sorgulamak bir başarısızlık olarak değil, aklın en zor işi olarak görülmeli ve teşvik edilmeli.

Yapay zekâ çağında en değerli yetenek en hızlı devam etmek değil, gerektiğinde ilk duran olmak olacak. 404 hatasını gören ajan, siteyi kazımadan önce tek bir soru sorabilseydi, hikâye kampüs güvenliğiyle bitmeyecekti.

Kaynaklar

  • Ken Archer ve Nobel Suhendra, "The AIs Are Not Going Rogue", Noema, 1 Ekim 2026.

  • Sasha Mudd, "Reason is more than a tool", Aeon, 1 Ekim 2026.

  • "Agent Meltdowns: The Road to Hell Is Paved with Helpful Agents", Cornell Üniversitesi, arXiv.

  • David Hume, İnsan Doğası Üzerine Bir İnceleme (1739); Immanuel Kant, "Aydınlanma Nedir?" (1784).

  • Robert K. Merton, "Bureaucratic Structure and Personality" (1940); Chris Argyris, "Double Loop Learning in Organizations" (1977); Barry M. Staw, "Knee-Deep in the Big Muddy" (1976).

  • BM Uluslararası Hukuk Komisyonu, Nürnberg İlkeleri, İlke IV (1950).