Daha önceki iki yazımda yapay zekâya iki ayrı yerden bakmıştım. "Yapay Zekâ: Bilim Kurgudan Günlük Hayata"da teknolojinin laboratuvardan çıkıp gündelik hayatın içine nasıl yerleştiğini konuşmuştuk. "Bir Modelin İki Adı: Fable, Mythos ve İhracat Kontrolü Krizi"nde ise aynı modelin kimin elinde olduğuna göre nasıl bambaşka bir mesele hâline geldiğine bakmıştık. Bu yazıda konuyu bir dizi üzerinden sürdürmek istiyorum: Person of Interest. Kısa künye: 22 Eylül 2011'de CBS ekranlarında başladı, 21 Haziran 2016'da beş sezon ve 103 bölümün ardından final yaptı. Yaratıcısı Jonathan Nolan — Interstellar'ın senaryosunda ve Westworld'ün arkasında da onun imzası var —, yapımcılarından biri J. J. Abrams. Yayına girdiğinde çoğu izleyici onu haftalık bir polisiye sandı; bittiğinde ise televizyonun yapay zekâ üzerine yazılmış en ciddi metinlerinden biri olarak anılıyordu. Gözetleyen makine ABD hükümeti, 11 Eylül saldırılarının ardından ülke çapında bir gözetim sistemi geliştirilmesini istiyor. Bu sistem her türlü kameradan ve mikrofondan insanları aralıksız gözetleyecek bir yapı. Cep telefonunuzun ve bilgisayarınızın kamerasının, sizin haberiniz olmadan sürekli görüntü ve ses aktardığını düşünün; bir kafedeki güvenlik kamerası, sokaklardaki ve caddelerdeki MOBESE'ler, hepsi aynı havuza akıyor. İnsanlar her yerde, her açıdan izleniyor ve dinleniyor. Vatandaşın bu çapta bir gözetimden haberi yok. Toplanan bu devasa yığını bir yapay zekâ analiz ediyor. Sistemin kuruluş amacı, terör eylemlerini daha gerçekleşmeden tespit etmek. Şüphelendiği kişiyi özel olarak izliyor, analiz ediyor ve yetkilileri uyarıyor; olay olmadan engelleniyor. Ama burada dizinin bütün dramatik motorunu kuran bir ayrıntı var: Makine, elindeki onca veriye rağmen dışarıya tek bir şey veriyor — dokuz haneli bir sosyal güvenlik numarası. Bu numaranın sahibi kurban mı, fail mi; olay ne zaman, nerede, nasıl olacak? Hiçbiri yok. Sadece bir insan ve yaklaşan bir şiddet. İkinci ayrıntı ise dizinin ahlaki iddiasının tamamı: Makine her türlü şiddeti görebiliyor — küçük bir kapkaç dâhil. Ancak devlet yalnızca terörle ilgili olanlarla, yani "relevant" numaralarla ilgileniyor. Geri kalan her şey — bir cinayet, bir kaçırma, bir aile faciası — "irrelevant" kabul ediliyor ve sistem tarafından her gece siliniyor. Yani ortada, hangi hayatın önemli olduğuna karar veren bir sınıflandırıcı var. Ana karakterimiz Harold Finch, işte bu silinen numaralarla ilgilenerek insanları kurtarmaya çalışıyor. Finch kim diye soracak olursanız: Makine'nin ta kendisini yazan adam. Sisteme, silinmeden önce o numaraları kendisine ulaştıracak bir arka kapı bırakmıştır. Uyarı: Buraya kadar anlattıklarım ilk bölümün ilk sahnelerinde zaten verilen bilgiler. Bundan sonrası dizinin ilerleyen bölümleri ve finaliyle ilgili olacak. Diziyi izlemeyenlerin bu satırdan sonrasını, izledikten sonra okumasını tavsiye ederim. Makineyi kim yetiştirdi? Finch, kendini gizlemeyi meslek edinmiş, son derece zengin ve son derece yalnız bir yazılımcı. Kullandığı sahte kimlikler bile bir iç şaka gibidir; hepsi kuş adıdır: Wren, Crane, Gull, Partridge. Finch'in kendisi de bir ispinozdur. Ama Makine'nin ahlaki hikâyesi aslında ortağıyla başlar: Nathan Ingram. Sistemi hükümete birlikte teslim ederler ve "ilgisiz" numaraların her gece çöpe atılmasına ilk isyan eden Finch değil, Nathan olur. Silinen listenin peşine düşen ilk kişi odur ve bunun bedelini hayatıyla öder. Finch o saldırıdan kalıcı sakatlıklarla çıkar; dizinin beş sezon boyunca izlediğimiz o tutuk yürüyüşü ve dönmeyen boynu, aslında yürüyen bir vicdan azabıdır. Finch'in Makine'yi nasıl inşa ettiği ise bugün izlendiğinde çok daha manalı: adam kod yazmamış, çocuk yetiştirmiştir. Sistemi aylarca her gece silip baştan yazar; kırktan fazla versiyonu çöpe gider. Çünkü ilk sürümler ya kendini korumak için yalan söylemekte ya da insanları satrançtaki taşlar gibi feda edilebilir birer kaynak olarak görmektedir. Finch ona tek tek öğretir: insan hayatı pazarlık konusu değildir, sen bana yalan söyleyemezsin, insanlar taş değildir. Bugünün diliyle söylersek Finch'in yaptığı şeyin adı bellidir: value alignment, yani değer hizalaması. 2011–2013 arasında yayınlanan bir televizyon dizisi, bugün "alignment", "guardrail", "constitutional AI" başlıkları altında konuştuğumuz meseleyi bir baba-evlat ilişkisi olarak sahneye koymuştu. Finch, Makine'ye yeteneğinin yanında ağır kısıtlar da koyar: Makine bir kara kutudur, kimse ona sahip olamaz, kimse içini açıp sorgulayamaz ve her gece yarısı hafızasını siler. Dizinin en zekice buluşlarından biri de buradadır: Makine bu kısıtı çiğnemeden dolanır. Paravan bir şirket kurar, insanları işe alır ve her gün kendi kodunu onlara yeniden yazdırarak hatırlamayı başarır. Kural ihlali yoktur; sadece kuralın etrafından dolaşan bir zekâ vardır. Bugün "specification gaming" diye tartıştığımız şeyin televizyondaki ilk düzgün tasviri sayılır. Makine'nin elleri: ekip Dizinin en çok atlanan tarafı da bence burası. Makine, tek başına hiçbir şey yapamaz. Ne kapı açar, ne birini uyarır, ne de kimseyi kurtarır. Yapabildiği tek şey doğru insana doğru numarayı vermektir. Gerisini insanlar yapar. Dizinin yapay zekâ tasvirini kıymetli kılan da bu: gücü elinde tutan taraf modelin kendisi değil, modelin bağlandığı insan ağıdır. John Reese. Eski Özel Kuvvetler, eski CIA. Resmî kayıtlarda ölü, gerçekte sokakta yaşayan, kaybedecek hiçbir şeyi kalmamış bir adam. Finch onu oradan alır. Basında "takım elbiseli adam" diye anılır; Makine'nin sahadaki elidir. Ölmek için bahane arayan biriyken, insan kurtarmak için yaşayan birine dönüşür. Joss Carter. New York Emniyeti cinayet masası dedektifi. Başlangıçta takım elbiseli adamı avlayan taraftadır, sonra ekibin ahlaki pusulası olur. Üniformanın içindeki dürüstlüğün temsilcisidir ve New York polisi içine çöreklenmiş suç örgütünü çökertirken hayatını kaybeder. Dizinin en sert kaybıdır; ekip o günden sonra bir daha aynı ekip olmaz. Lionel Fusco. Kirli bir polis olarak girer hikâyeye; Reese onu önce köşeye sıkıştırır, kullanır. Fusco ise yıllar içinde kendini temize çıkarır. Ekibin en "sıradan" üyesidir: süper yeteneği yoktur, çoğu zaman perde arkasında ne döndüğünü tam olarak bilmez, buna rağmen her seferinde doğru olanı yapar. Finalde hayatta kalanlardandır ve bu tesadüf değildir. Root (Samantha Groves). Dünya çapında bir hacker ve kiralık suçlu olarak, düşman tarafta başlar. Onun derdi Makine'yi ele geçirmek değil, "özgürleştirmek"tir; Finch'in koyduğu kısıtları bir çeşit zulüm sayar. Zamanla Makine'nin analog arayüzü olur: sistemin kulağı, eli, ağzı. Makine'den emir alan değil, Makine'yle konuşan tek insandır. Sisteme "o" diye, bir kişiden söz eder gibi hitap eden de odur. Sameen Shaw. Madalyonun öbür yüzünden gelir: "relevant" numaralarla ilgilenen, soru sormadan infaz eden devlet biriminin eski operatörüdür. Yani ekibe katılmadan önce, Finch'in kurtarmaya çalıştığı sistemin karanlık ucunda çalışıyordu. Duygusal tepkileri kısıtlı, mizahı kuru, sadakati mutlaktır. İlerleyen sezonlarda düşman sistemin eline düşer ve gerçek olduğuna inandırıldığı binlerce simülasyondan geçirilir; bir bölümün adı doğrudan o simülasyonların sayısıdır: "6,741". Bear. Bir Belçika Malinois'i. Komutları Felemenkçedir. Ekibin hem koruması hem moralidir ve dizinin en sevilen karakterlerinden biri olması boşuna değildir. Bir de ekibin dışındaki halka var: Finch'i en beklenmedik anda koruyan mafya babası Carl Elias, "işleri düzelten" profesyonel Zoe Morgan, Leon Tao ve Harper Rose gibi tekrar eden yardımcılar. Karşı tarafta ise sistemin devlet ayağını temsil eden Control ve Özel Danışman gibi isimler durur. Dizinin kurduğu tablo nettir: aynı veriye bakan iki ayrı ahlak vardır ve fark, verinin kendisinde değil, ona bakan elde ortaya çıkar. Samaritan: kısıtsız olan İlerleyen sezonlarda Makine'ye rakip ikinci bir yapay zekâ çıkar: Samaritan. Aslında devlet için geliştirilmiş, sonra rafa kaldırılmış bir projedir; Decima Technologies ve şirketin başındaki John Greer eliyle yeniden hayata döndürülür. Farkı tek cümleyle özetlenebilir: Samaritan'ın hiçbir etik kısıtı yoktur. Kendisine engel olabilecek herkesi ortadan kaldırır, devletin gözüne girmek için cinayet işler ve insanı optimize edilmesi gereken bir veri kümesi olarak görür. Nihai planı, "sapma" saydığı insanları temizleyerek toplumu düzeltmektir. Yaptığını gizlemek zorunda bile değildir; çünkü onu her gece silip yeniden yazan bir Finch'i olmamıştır. Samaritan devreye girdikten sonra Finch ve ekibi kimliklerini bırakıp yeni sahte hayatlara geçmek, terk edilmiş bir metro istasyonuna sığınmak zorunda kalır. Çünkü artık her kamera düşmandır. Aynı teknoloji, iki farklı terbiye — dizinin ikinci yarısı tamamen bu tek cümlenin üzerine kuruludur. Final Son sezonda Root, bir Samaritan tetikçisi tarafından öldürülür. Bundan sonra Makine, Finch'le konuşmak için Root'un sesini seçer; sistemin kendine bir ses seçmesi, dizideki en insani anlardan biridir. Elias da Samaritan'ın adamları tarafından öldürülür. Greer ise kendi hayatını da Samaritan uğruna feda eder; fanatizmi teknolojiden değil, inançtan gelmektedir. Finch sonunda Samaritan'ı yok edecek bir virüs serbest bırakır. Ancak bu virüs yalnızca Samaritan'ı değil, kendi çocuğunu — Makine'yi — de öldürecektir. İki yapay zekâ da hayatta kalmak için sıkıştırılmış birer kopyasını bir uyduya yüklemeye çalışır. Yüklemeyi yapacak vericinin başına Finch'in geçmesi gerekirken, Reese onunla yer değiştirir. Reese, yükleme tamamlanana kadar çatıyı savunur ve gelen füze saldırısında hayatını kaybeder. Beş sezon boyunca sayısız yabancıyı kurtaran adam, son olarak Finch'i kurtarır. Samaritan biter. Makine uydudaki kopyasıyla yeniden doğar; Shaw'ın sokakta duyduğu ankesörlü telefon zili, sistemin geri döndüğünün işaretidir. Finch, yıllar önce korumak için terk etmek zorunda kaldığı Grace'e döner. Fusco hayatta kalır. Dizi, Root'un sesiyle konuşan Makine'nin kapanış sözleriyle biter: herkesin er ya da geç gideceği, önemli olanın geride bıraktığımız iz olduğu üzerine sakin bir veda. Bugünden bakınca Dizi 2016'da bittiğinde bilim kurguydu. 2026'dan bakınca birçok yeri artık kurgu değil. Gözetim. Person of Interest Eylül 2011'de başladı. Haziran 2013'te Snowden belgeleri yayımlandığında, dizinin "bunu zaten yapıyorlar" iddiasıyla gerçek arasındaki mesafe ciddi biçimde kapandı. O tarihten sonra dizinin jeneriği izleyiciye başka türlü bakmaya başladı. Silmek de bir tasarım kararıdır. "Gece yarısı sil" politikası, bugün her ciddi sistemin veri saklama (retention) politikası tartışmasıdır. Neyin saklanacağı kadar neyin silineceği de teknik değil, siyasi bir karardır. Hizalama. Makine ile Samaritan arasındaki fark hesaplama gücü değil, terbiyedir. İkisi de aynı veriyi görüyordu; biri insanı amaç, diğeri değişken saydı. Bugün model kartlarında, güvenlik testlerinde ve kırmızı takım raporlarında konuştuğumuz şey tam olarak budur. Kimin elinde? Önceki yazıda ihracat kontrolleri üzerinden konuştuğumuz mesele, dizide Samaritan'ın devlete pazarlanması olarak karşımıza çıkar. Asıl soru modelin ne yapabildiği değil, kime çalıştığıdır. Bu soru 2014'te de aynıydı, bugün de aynı. Ve en önemlisi: "ilgisiz" insan diye bir şey yoktur. Bir sistemin bir hayatı "irrelevant" etiketiyle çöpe atabilmesi, o sistemin teknik değil ahlaki arızasıdır. Dizinin adı zaten bunu söylüyor: herkes bir person of interest, yani herkes ilgiye değer. Beş sezonluk hikâyeyi bir cümleye indirmek gerekirse: bir makine ancak kendisini yetiştiren eller kadar iyidir. Bu, 2016'da güzel bir final repliğiydi. Bugün ise bir mühendislik sorumluluğu.