SambaNova ve Nvidia Güç Birliği: Eski GPU'lar Yapay Zekada Yeni Hayat Buluyor

Intel destekli yapay zeka girişimi SambaNova, Nvidia’nın amiral gemisi GPU'ları ile kendi özel SN50 Reconfigurable Dataflow Unit (RDU) teknolojisini birleştiren hibrit bir platform ile yapay zeka altyapısında yeni bir dönem başlattı. Artificial Analysis tarafından gerçekleştirilen bağımsız testlerde, MiniMax M2.7 modeli üzerinde yapılan çıkarım işlemlerinde saniyede 763 token (tok/s) hıza ulaşıldı. Bu sonuç, geleneksel GPU tabanlı çıkarım sistemlerinin sunduğu performansın çok üzerinde bir verimliliği temsil ediyor.

Sistemin başarısı, iş yüklerinin akıllı bir şekilde bölüştürülmesine dayanıyor. Hesaplama açısından ağır olan ve girdilerin işlenip önbelleklerin oluşturulduğu 'prefill' (hazırlık) aşaması, dört adet Nvidia H200 GPU'su tarafından yönetiliyor. Bellek bant genişliğine duyarlı olan ve çıktı token'larının üretildiği 'decode' (çözümleme) aşaması ise 16 adet SN50 hızlandırıcı barındıran tek bir SambaNova rafına aktarılıyor. Bu mimari yaklaşım, özellikle uzun süreli çalışan yapay zeka ajanları ve kod asistanları için maliyetleri düşürmede kritik bir kaldıraç görevi görüyor.

SambaNova'nın bu çözümünün en dikkat çekici yanlarından biri de mevcut veri merkezlerine entegrasyon kolaylığıdır. Nvidia'nın yeni nesil Rubin mimarisine sahip GPU'ları sıvı soğutma zorunluluğu getirirken, SambaNova sistemleri hava soğutmalı yapısı sayesinde mevcut altyapılara rahatlıkla uyum sağlıyor. Şirket, bu sistemlerin işletmelerin elindeki eski GPU filolarını birer 'çözümleme hızlandırıcısı' haline getirerek ömürlerini uzatacağını öngörüyor.

Performans sınırlarını zorlamaya devam eden SambaNova, 128 ve 256 hızlandırıcıya sahip daha güçlü konfigürasyonlar üzerinde çalışmalarını sürdürüyor. Şirket kısa süre önce, General Atlantic liderliğinde 1 milyar dolarlık Seri F yatırım turunun ilk aşamasını tamamlayarak 11 milyar dolarlık bir değerlemeye ulaştı. Bu güçlü sermaye desteğiyle, TogetherAI gibi büyük ölçekli müşterilerle iş birliği yaparak Vector Core Compute altyapısını yaygınlaştırmayı planlıyorlar.

SambaNova'nın bu hamlesi, sadece kendi donanımlarının gücünü değil, aynı zamanda yapay zeka çıkarım platformlarında 'heterojen hesaplama' yaklaşımının ne kadar verimli olabileceğini kanıtlıyor. Nvidia'nın NVL72 sistemlerinde veya Groq tabanlı LPX raflarında gördüğümüz disaggrege (ayrıştırılmış) mimari trendi, AMD'den AWS'ye kadar sektörün pek çok devini benzer hibrit çözümlere yönlendirmiş durumda.