Kısaca

Google, sekizinci nesil işlemci ailesine donanım düzeyinde veri güvenliği sağlayan TPU 8tx ve çift çipli paketle bellek darboğazını hedefleyen TPU 8i Max sistemlerini eklediğini duyurdu.

Üç noktada haber

  1. Google, sekizinci nesil ailesine donanım tabanlı şifreli çıkarım odaklı TPU 8tx ve yüksek yoğunluklu TPU 8i Max sistemlerini ekledi.

  2. TPU 8tx, TPU 8t ile aynı silikonu kullanırken 5. Nesil AMD EPYC işlemciler ve Boardfly ağıyla çalışacak şekilde yapılandırıldı.

  3. TPU 8i Max, tek pakette birleştirilen iki adet TPU 8i yongasıyla TPU 8i modeline kıyasla işlem gücü, SRAM ve HBM bant genişliğini iki katına çıkarıyor.

Google, sekizinci nesil yapay zekâ hızlandırıcı ailesini genişleterek TPU 8tx ve TPU 8i Max olmak üzere iki yeni donanım sistemini duyurdu. Nisan ayında tanıtılan eğitim odaklı TPU 8t ve çıkarım odaklı TPU 8i modellerinin ardından gelen bu adımla birlikte şirket, tek bir takvim yılı içinde ilk kez dört farklı TPU sistemini pazara sunmuş oldu. Google'ın paylaştığı bilgilere göre yeni hızlandırıcılar sıfırdan üretilen yeni silikon çipler olmak yerine, mevcut çip tasarımlarının bellek, paketleme, güvenlik ve ağ bileşenleriyle sistem düzeyinde yeniden yapılandırılması prensibine dayanıyor.

Donanım Katmanında Güvenli Çıkarım

Portföyün üçüncü sistemi olan TPU 8tx, özellikle regülasyona tabi sektörler ve gizli kurumsal verilerle çalışan otonom yapay zekâ modelleri için geliştirildi. Geleneksel sistemlerde veriler depolama ve ağ aktarımı sırasında şifrelenirken, işlemcinin belleğinde işlenirken şifresiz hale getirilmek zorunda kalıyor. Google'ın aktardığı teknik verilere göre TPU 8tx, TPU 8t silikonunu beşinci nesil AMD EPYC işlemcilerle bir araya getirerek verilerin ve model ağırlıklarının aktif işlem anında da yalıtılmış ve şifreli kalmasını sağlıyor. Şirket, Boardfly düşük gecikmeli ağ yapısı sayesinde bu modelin TPU 8t sistemine kıyasla performanstan ödün vermeden iki kata kadar daha düşük gecikme sunduğunu ve kurumların verilerini başka kümelere taşımadan kendi özel modellerini ince ayar yapabilmelerine olanak tanıdığını öne sürüyor.

Bellek Darboğazına Çift Çipli Paketleme Çözümü

Serinin dördüncü sistemi olan TPU 8i Max ise büyük kod tabanları veya uzun video akışları gibi milyonlarca belirteçten oluşan geniş bağlam pencerelerinde ortaya çıkan bellek bant genişliği sorununu aşmak üzere yapılandırıldı. Çok adımlı otonom yazılımların aynı anda çalışması sırasında bellek erişiminin darboğaz oluşturmasını engellemek isteyen Google, tek bir paket içerisine iki adet düşük gecikmeli TPU 8i çipi yerleştirdi. Bu mimari tercih sayesinde TPU 8i Max, temel TPU 8i modeline kıyasla işlem gücünü, statik rastgele erişimli bellek kapasitesini ve yüksek bant genişlikli bellek aktarım hızını iki katına çıkarıyor.

Raf Yoğunluğu ve Dağıtım Koşulları

Google, TPU 8i Max sisteminin mevcut sunucu rafı alanını değiştirmeden aynı taban alanına iki kat silikon sığdırdığını, bunun da veri merkezlerinde metrekare ve harcanan vat başına düşen hesaplama gücünü önemli ölçüde artırdığını belirtiyor. Şirket bünyesindeki Gemini modellerinin eğitimi ve çıkarımı dahil olmak üzere neredeyse 100 kurumsal müşteriye hizmet veren TPU altyapısı, müşterilerin bu hızlandırıcıları doğrudan kendi yerel veri merkezlerinde devreye almalarına da olanak tanıyor. Tanıtılan yeni sistemler, Google Cloud altyapısının yanı sıra PyTorch desteği ve açık yazılım araçları üzerinden kurumsal kullanıcılara sunuluyor.

Neden önemli?Yeni mimariler, hassas kurumsal verilerin işlenirken şifrelenmesini ve milyonluk bağlam pencerelerinde çalışan otonom yapay zekâ yazılımlarının bellek sınırına takılmadan ölçeklenmesini amaçlıyor.

Cevabı beklenen sorular

  • Yeni TPU sistemlerinin Google Cloud müşterilerine genel kullanıma sunulacağı kesin takvim ve saatlik kullanım maliyetleri nasıl şekillenecek?
  • Şirketlerin kendi veri merkezlerine kuracakları şirket içi TPU dağıtımlarının donanım teslim süreleri ne zaman netleşecek?
Kaynaklar ve belgeler

Bu haberde kullanılan belgelere aşağıdaki bağlantılardan ulaşabilirsiniz.