Yapay zekâ ilk yıllarında şirketlerin veri merkezlerinde yaşıyordu: siz soruyu gönderirdiniz, yanıtı başka bir şehirde hesaplanırdı. Son iki yılda hesap, cihazın kendisine taşınmaya başladı. Telefonunuzun çipinde, tarayıcınızın içinde hatta çamaşırlarınızı sayan bir kameranın kartında çalışan modeller artık fütüristik değil, günlük. Bu kayışmanın adı kenar bilişim ve kendi ekonomisini kurdu.

Küçük model, büyük fikir

Kenarda çalışan modeller milyarlar yerine milyonlarca, belki birkaç milyar parametreyle yetinir; ama üç avantajı bulutun sınıflarını sarsar. Birincisi gecikme: yanıt, radyo dalgasının şehirler arası yolculuğuna çıkmadan, cihazın içinde milisaniyelerde hazırlanır; bu, sesli asistan ve kamera gibi gerçek zamanlı işlerde oyun değiştiricidir. İkincisi gizlilik: veri cihazdan çıkmadığı için kişisel bilgilerle ilgili endişe ve bir çok mevzuat yükü de cihazda kalır. Üçüncüsü bağlantıdan bağımsızlık: uçakta, tünelde, kırsalda model çalışmaya devam eder. Bedeli de var: küçük modeller zor görevlerde büyüklerine yenilir, cihazın pil ömrü ve ısınma sınırı her hesabı sınırlar, ve model güncellemeleri uygulama mağazası disipliniyle yönetilmek zorundadır. Ayrıca cihaz çeşitliliği, bir yazının bir kez derlenip her yerde çalışması fikrini çökertir; her çip, kendi hızlandırıcısını ister.

Donanım tarafında süratli yarış

Bu değişimin arkasındaki asıl motor yazılım değil, çip. Mobil işlemcilerde sinir ağı hızlandırıcıları standart hâline geldi; dizüstülerde yapay zekâ etiketli işlemciler, işletim sisteminin yerel model katmanıyla birlikte satılıyor. Tarayıcı tarafında WebGPU gibi standartlar, eklenti olmadan modellerin web sayfasının içinde çalışmasına izin verdi; küçük transkripsiyon ve görsel modeller artık sekmenizin içinde koşabiliyor. Fabrika ve tarım tarafında ise gömülü kartlar, kamera beslemesini sahadaki kutunun içinde işleyip yalnızca sonucu ağa gönderiyor; bu, bant genişliğinden maliyet tasarrufu demek. Veri merkezine dönen trafik azaldıkça gizlilik artıyor, enerji de dağılıyor; ama enerjinin toplamda azalması otomatik değil, çünkü cihaz başına küçük çipler milyarlarcaya dağılıyor.

Dengeyi bulmak

Yaygınlaşan desen, bulut ile cihazın ortak çalışması: cihaz, hızlı ve özel işleri alır; bulut, ağır akıl yürütmeyi yapar. Yerel model, kullanıcının sorusunu önce anlamlandırır, gerekirse özetleyip buluta küçük bir paket halinde gönderir; buluttan gelen yanıt yine yerelde kişiselleştirilir. Bu bölüşüm, hem gecikmeyi hem faturayı düşürüyor. Karar verirken üç soru yeter: işin gerçek zamanlılığı gecikme kazandırıyor mu, veri çıkışı mevzuat ya da kullanıcı güveni açısından sorun mu, ve cihaz çeşitliliğini bakım ekibiniz karşılayabiliyor mu? Üçü de evetse kenar tarafı güçlü bir aday. Kenar bilişim, yapay zekâyı merkezin tekeli olmaktan çıkarıp her cihaza dağıtan bir hareket; ve bu hareket, daha şimdilik hız kazanarak devam ediyor.

Bir not daha: Kenarda çalışan model seçerken yalnızca doğruluğa değil, enerji başına verime de bakın; pil ömrü, gerçek dünyada ham doğruluk kadar belirleyici. Ayrıca cihazda çalışan modelin güncellenme yolunu baştan tasarlayın; bir kez dağıtılan yerel model, kimse dokunmazsa güvenlik açığına dönüşür. Kenar bilişim, kurulumla değil, bakım disipliniyle kazanılır.