Yapay zekâ konuşmalarında en hızlı atlanan konu paradır. Herkes modelin ne bildiğini tartışır; onu çalıştırmak için harcanan elektrik, kiralanmak zorunda kalılan grafik işlemci saatleri ve abonelik fiyatıyla gerçek maliyet arasındaki fark azımsanır. Oysa bugünün büyük dil modelleri, satır satır üretim yapan birer sanayi tesisi: çıktının her birimi, yani token, kendi üretim maliyetini sırtında taşır.

Token nedir, hesap nasıl işler?

Token, kelimenin dil işleyici tarafından parçalanmış en küçük parçasıdır; ortalama bir Türkçe cümle on ya da yirmi tokena karşılık gelir. Bulut hizmetleri faturayı iki kalemden kurar: girdi tokenları okumak, çıktı tokenları yazmak için ücretlendirilir ve yazmak, okumaktan genellikle birkaç kat pahalıdır. Milyon token başına verilen fiyatlar ilk bakakta cüzi görünür; ama tek bir aracı yazılımın yüzlerce sayfalık dokümanı okuyup kısa özetler üretmesi, günlük on binlerce tokenı birkaç saatte eritir. Model ne kadar büyük, bağlam penceresi o kadar uzun, ücret de o o kadar şişer. Gecikmeye tolerans gösteren işler için kuyruğa alınmış ucuz modeller sunulur; acil yanıt gerektiren işler ise premium fiyatlı modellere gider ve aynı soru iki saatte dört kat farklı fiyata yanıtlanabilir.

Faturayı şişiren gizli kalemler

Gerçek maliyet yalnızca model çağrısından ibaret değildir. Bir sistemin önünde arama katmanı, sızıntı denetimi, güvenlik filtreleri ve değerlendirme testleri çalışır; her biri ayrı işlem gücü yer. Uygulamaların çoğu, kullanıcının tek bir mesaj gördüğü ekranda beş on ayrı model çağrısı döndüğünü göstermez: arama özeti, niyaz analizi, yanıt taslağı, tutarlılık denetimi, kaba dil filtresi. Ayrıca bağlam penceresine her turda eski konuşmanın yeniden eklenmesi, girdi tokenlarını kumanda gibi büyütür. Otomatik yeniden denemeler, ağ kopmalarındaki tekrar çağrılar ve kullanıcıların aynı soruyu farklı kelimelerle sorması da denklemi bulanıklaştırır. Kurumsal tarafta bakım sözleşmeleri, veri bölgesi seçimi ve gecikme garantileri ayrı kalemlerdir; bu yüzden üst yönetim sunumlarında gösterilen harcama, tahminin üç katına çıktığında kimse şaşırmamalı.

Maliyeti düşürmenin gerçek yolları

Ucuzlama hikâyesinin ilk dersi aynıdır: doğru işe doğru model. Basit sınıflandırma, metin temizleme ya da biçim dönüştürme işleri küçük modellere; derin analiz yalnızca zorunlu yerlerde büyük modellere verilmeli. Girdiyi kısaltmak, gereksiz geçmişi budamak ve yanıtları önbelleğe almak faturayı en hızlı indiren üç hamledir; çoğu uygulamada soruların beşte biri tekrardır ve bunlar bedavaya çözülür. Girdi ve çıktı özetleme, yani uzun dokümanın önce küçük modelle sıkıştırılıp sonra ana modele verilmesi, ciddi tasarruf sağlar. Son olarak ölçüm şarttır: token başına maliyeti ekip bilmiyorsa, o ekipte maliyet disiplini de yoktur. Büyük dil modelleri sihirli bir kutu değil, ölçeği her ay büyüyen bir elektrik santralidir; ona en iyi gelen yaklaşım, santral gibi yönetmektir.

Bir de pratik gözlem ekleyelim: Token ekonomisinde en sık yapılan hata, yalnızca modelin saatlik verimine odaklanıp yan etkileri unutmaktır. Depolama, günlük saklama, ağ trafiği ve değerlendirme koşuları gibi kalemler, ay sonunda toplamın beşte birini oluşturabiliyor. Bu yüzden maliyet tablosu, yalnızca model fiyatının değil, veri akışının tamamının bilançosudur.