Nvidia, Pazartesi günü profesyonel dizüstü bilgisayarlara yönelik bir çift giriş seviyesi dizüstü bilgisayar GPU'sunu piyasaya sürdü ve Intel ve AMD'nin bağımsız yonga üstü sistemlerinin (SoC'ler) çok üzerinde performans iddiasında bulundu.
2022'nin sonlarında piyasaya sürülen Ada mimarisine dayanan RTX 500 ve 1000 Ada Generation kartları, sırasıyla 2.048 ila 2.560 CUDA çekirdeği ve 64 ila 80 tensör çekirdeğinden elde edilen 154 ve 193 teraFLOPS seyrek FP8 performansına sahiptir.
Nvidia, giriş seviyesi kart için bunun "Stable Diffusion gibi modeller için 14 kat daha fazla üretken yapay zeka performansı, yapay zeka ile üç kata kadar daha hızlı fotoğraf düzenleme ve 3D render için yalnızca CPU yapılandırmasına kıyasla 10 kata kadar daha fazla grafik performansı" anlamına geldiğini iddia ediyor.
Nvidia video işleme gibi profesyonel uygulamalara değinmiş olsa da, en alt seviye GPU'larının bile Intel ve AMD'nin sırasıyla 34 ve 39 TOPS'a ulaşan Core Ultra ve Ryzen 8040 serisi işlemcilerinden daha iyi performans gösterdiği gelişmekte olan AI PC segmentine odaklandığı açıktır. Bu da CPU, NPU ve GPU'larının performansını topladığınızda ortaya çıkıyor.
Bununla birlikte, yapay zeka modellerini yerel olarak çalıştırmak için daha önemli olan, yeterli miktarda hızlı bellek kaynağıdır. Bu durumda müşteriler yeni kartları biraz kısıtlayıcı bulabilir. Temel model RTX 500 Ada, 128GB/s'lik en yüksek bant genişliğine sahip 4GB GDDR6 bellek ile donatılmış olarak geliyor. Üst seviye RTX 1000 Ada ise 192GB/s'ye ulaşabilen 6GB belleğe yükseliyor.
Nvidia, işletmelerin bu kartları "yerel büyük dil modellerini kullanarak sohbet robotu benzeri arayüzlerle dahili bilgi tabanlarını sorgulamak" için kullanmasını öngörüyor.
4GB – 6GB bellekle çalışmak, bellek boyutunu küçültmek için niceleme veya kayar hassasiyetten ödün verip Int4 gibi bir değere düşmek gibi akıllıca hilelere başvurmadan daha popüler LLM'lerin çoğu için fazla alan bırakmaz.
Bu noktayı vurgulamak için Nvidia'nın yakın zamanda tanıttığı Chat with RTX – Ampere ve Ada Lovelace kart sahiplerinin indirip makinelerinde yerel olarak çalıştırabilecekleri bir yapay zeka sohbet robotu – bugün duyurulan kartların hiçbirinde çalışmayacak çünkü gerekli bellekten yoksunlar.
Genel olarak konuşmak gerekirse, bir modeli 8-bit kayar veya tamsayı hassasiyetinde çalıştırmak için her milyar parametre için yaklaşık 1GB video belleğine ihtiyacınız vardır. Dolayısıyla, nispeten küçük boyutu nedeniyle yapay zeka bilgisayar performansı için popüler bir kıyaslama olan Meta's Llama 2 7B için yaklaşık 7GB gerekir.
Bu sınırlamayı aşmak için ya daha pahalı RTX 2000 Ada'ya geçmek ya da modelin bellek kaplama alanını azaltmak için nicelleştirilmiş modellerden veya daha düşük hassasiyetten yararlanmak gerekir.
Ancak, Llama 2 7B ya da Stable Diffusion gibi chatbot ve görüntü oluşturma modellerini kullanabilmenin ötesinde, yerel modellerden yararlanabilen yazılımlar hala nispeten az sayıda ve var olan yazılımlar da ağırlıklı olarak reklamcılara yönelik. Microsoft, muhtemelen bulut sunucuları üzerindeki yükü azaltmak amacıyla Windows işletim sistemine daha fazla yapay zeka özelliği ekledikçe bu durumun değişmesi bekleniyor.
Nvidia, Intel ve AMD'nin SoC'lerine göre performans avantajına sahip olsa da, kartlar özellikle güç ve termal aralık söz konusu olduğunda bazı dezavantajlara sahiptir. RTX 500 Ada, 35W-60W güç aralığında yapılandırılabilirken, RTX 1000 Ada aynı temel TDP'ye sahip ancak 140W'a kadar güç tüketebiliyor.
Bu geniş çalışma aralığı dizüstü bilgisayar hızlandırıcıları için nadir değildir, çünkü çipin performansı genellikle sistemi belirli bir form faktöründe soğutma kabiliyetine göre belirlenir. Bu aynı zamanda Nvidia'nın iddia ettiği performans hedeflerine ulaşmasının, OEM'lerin mümkün olduğunca sessiz ve serin çalışan ince dizüstü bilgisayarlara öncelik vermesi nedeniyle engellenebileceği anlamına geliyor.
Bu GPU'lardan birini almakla ilgileniyorsanız, Nvidia bunların bu baharın sonlarına doğru Dell, HP, Lenovo, MSI ve diğerlerinin OEM dizüstü bilgisayarlarında sunulmaya başlamasını bekliyor.
