Nöral işlem birimi anlamına gelen NPU’nun piyasaya sürülmesiyle birlikte yapay zeka görevlerinin hızlandırılması amaçlanıyor. Apple aslında yıllardır çiplerinde NPU kullanıyor, yani bu yeni bir şey değil. Ancak tüm markaların yapay zeka süreçlerini benimsemesi, yapay zeka araçlarının yaygınlaşmasıyla birlikte yeni bir furya başladı.
Son aylarda donanım üreticilerine bakıyorsanız “NPU” dediğimiz çiplerden bahsedildiğini görmüşsünüzdür. Bu zamana kadar bir bilgisayar alırken yalnızca CPU’yu kontrol ediyordunuz. Şimdi Intel ve AMD, yapay zeka destekli işlemcileriyle birlikte işleri biraz daha karmaşık hale getiriyor diyebiliriz. Yani artık dikkat etmeniz gereken bir unsur daha olabilir.
Yeni nesli dizüstü bilgisayarlar artık NPU ile birlikte gelmeye başladı. Henüz yolun başında olduğumuz için işler çok da karmaşık değil, lakin gelecekte bu AI birimlerinin geliştiğini, daha fazla işlev kazandığını göreceğiz. Biz de erkenden sizleri bilgilendirelim istedik. Nedir bu NPU?
NPU’ya Neden İhtiyaç Duyuyoruz?
Baştan bir özet geçelim. Yapay zeka kullanan araçlar ayrıyeten iş gücüne ihtiyaç duyuyor. Sektöre, kullanım alanına ve yazılıma bağlı olarak farklı gereksinimler ve hesaplama ihtiyaçları var. Üretken yapay zeka kullanım alanlarına yönelik artan taleple birlikte, yapay zeka için özel olarak tasarlanmış yenilenmiş bir bilgi işlem mimarisine ihtiyaç duyuldu.
Merkezi işlem birimi (CPU) ve grafik işlem birimi (GPU) bir kenara, tüm yapay zeka görevleri için sıfırdan nöral işlem birimi (NPU) adı verilen yongalar tasarlandı. Bir NPU ile birlikte uygun bir işlemci kullanıldığında, yeni ve gelişmiş üretken yapay zeka deneyimleri kullanılabiliyor, kullanılan uygulamaların performansı ve verimliliği en üst düzeye çıkarılıyor. Ayrıca bu süreçte güç tüketimi düşerken pil ömrü de olumlu etkileniyor.
NPU Nedir?
Özünde NPU, makine öğrenimi algoritmalarını yürütmek için tasarlanmış özel bir işlemcidir. Geleneksel CPU ve GPU’ların aksine, NPU’lar yapay sinir ağlarının ayrılmaz bir parçası olan karmaşık matematiksel hesaplamaları yürütmek için optimize ediliyor. Özel tasarlanan nöral işlemciler büyük miktarda veriyi paralel olarak işleme konusunda mükemmel işler çıkarabiliyor. Böylelikle görüntü tanıma, doğal dil işleme ve yapay zeka ile ilgili diğer işler çok daha kolay şekilde halledilebiliyor. Örnek olarak GPU içine bir GPU entegre edilseydi, NPU nesne algılama veya görüntü hızlandırma gibi belirli bir görevden sorumlu olabilirdi.
Sinir ağı işlemlerini ve yapay zeka görevlerini hızlandırmak için tasarlanan Nöral İşlem Birimi, ayrı olmaktan ziyade CPU ve SoC’lerin içine entegre ediliyor. CPU’lar ve GPU’ların aksine, NPU’lar veri odaklı paralel bilgi işlem için optimize edilmekte. Çok sayıda görevin yanı sıra, videolar ve görüntüler gibi büyük multimedya verilerini işlemede ve sinir ağları için veri işlemede oldukça verimli. Özellikle konuşma tanıma, görüntülü aramalarda arka plan bulanıklaştırma ve nesne algılama gibi fotoğraf/video düzenleme işlemlerinde çok faydalı olacak.
System on Chip (SoC) Nedir?
NPU da aynı şekilde bir entegre devre, ancak tek işlevli ASIC’lerden (Uygulamaya Özel Entegre Devreler) farklı. ASIC’ler tek bir amaç için tasarlanırken (bitcoin madenciliği gibi), NPU’lar daha fazla karmaşıklık ve esneklik sunarak ağ bilişiminin çeşitli taleplerini karşılayabiliyor. Bu da sinir ağı hesaplamalarının benzersiz gereksinimlerine göre uyarlanmış yazılım veya donanımda özel programlama yoluyla mümkün hale geliyor.
Çoğu tüketici farklında olmasa da yakında bilgisayarında yapay zeka desteğine sahip olacak. Intel Core/Core Ultra serilerinde veya yeni AMD Ryzen 8040 serisi dizüstü bilgisayar işlemcilerinde olduğu gibi, genellikle NPU’lar CPU’ya entegre edilecek. Ancak daha büyük veri merkezlerinde veya daha özel endüstriyel operasyonlarda NPU’yu farklı bir formatta görmemiz mümkün olabilir. Hatta diğer işlem birimlerinden ayrı olarak anakart üzerinde tamamen ayrı bir işlemci şeklinde görebiliriz.
NPU, düşük güçte yapay zeka çıkarımını hızlandırmak için sıfırdan inşa edildi. Yapay zeka iş yükleri öncelikle skaler, vektör ve tensör matematiğinden oluşan sinir ağı katmanlarının hesaplanmasından ve ardından doğrusal olmayan bir aktivasyon fonksiyonundan oluşmakta. Gelişmiş bir NPU tasarımıyla birlikte tüm zorlu iş yüklerinin üstesinden gelmek mümkün.
NPU, GPU ve CPU: Hepsi Birbirinden Farklı
GPU’lar paralel işleme konusunda yetkin ve genellikle makine öğreniminde kullanılırken, NPU’lar bu özel uzmanlığı bir adım öteye taşıyor. GPU’lar çok yönlüdür ve grafik işlemenin yanı sıra paralel şekildeki görevleri yerine getirme konusunda eşsiz. Genel amaçlı kullanılan CPU’lar ise bir bilgisayarın beynidir ve çok çeşitli görevleri yerine getirir.
APU, GPU ve CPU Arasındaki Fark Nedir? iGPU Tercih Edilir mi?
NPU’lar ise derin öğrenme algoritmalarını hızlandırmak için özel olarak üretildi, sinir ağları için gereken belirli işlemleri yürütmek üzere uyarlandı. Belirli görevlere odaklandığı ve özel optimizasyonlar yapıldığı için belirli senaryolarda CPU’lara ve hatta GPU’lara kıyasla yapay zeka iş yükleri için önemli ölçüde daha yüksek performans sağlıyorlar.
GPU Yapay Zeka ve Bilgi İşleme Nasıl Hakim Oldu?
Aslında grafik yongaları yapay zeka konusunda oldukça başarılı. Birçok yapay zeka ve makine öğrenimi görevi GPU’lara yükleniyor. Ancak GPU ve NPU arasında önemli bir ayrım var. GPU’lar paralel hesaplama yetenekleriyle bilinse de, makine öğrenimi iş yüklerini etkili bir şekilde işlemek için özel entegre devrelere ihtiyaç duyulmakta. GPU’lar grafik işlemenin ötesinde bunu yapmak için kusursuz değil. Evet başarılı, ama yeterince değil. Çoğunuzun bildiği gibi, NVIDIA ekran kartlarında yer alan Tensor Çekirdekleri bu konuda yetenekli. Diğer yandan AMD ve Intel de bu devreleri GPU’larına entegre ettiler. Amaç ise çok yaygın bir yapay zeka iş yükü olan çözünürlük yükseltme işlemlerini gerçekleştirmekti.
Tensor ve Ray Tracing Çekirdeği Nedir, Ne İşe Yarar?
NPU’lar, tabiri caizse bu devreleri (bir dizi başka işlem yapan) bir GPU’dan çıkarıp kendi başına özel bir birim haline getiriyor. Nihayetinde, yapay zekaya yönelik olan görevler daha düşük güç seviyesinde, daha verimli bir şekilde gerçekleştirilebiliyor. Diyebiliriz ki dizüstü bilgisayarlar için çok daha faydalı bir gelişim.
GPNPU: GPU ve NPU’nun Kaynaşması
GPU’ların ve NPU’ların güçlü yönlerini birleştirmeyi amaçlayan, GPNPU (GPU-NPU hibrit) şeklinde bir kavram da ortaya çıktı. GPNPU’lar yapay zeka merkezli görevleri hızlandırmak için NPU mimarisinden faydalanırken, aynı zamanda GPU’ların paralel işleme yeteneklerinden yararlanabiliyor. Bu kombinasyon, tek bir çip içinde çeşitli bilgi işlem ihtiyaçlarını karşılayarak çok yönlülük ve özel yapay zeka işleme arasında bir denge kurmayı amaçlıyor.
Heterojen Mimari
Yapay zekanın çeşitli kriterlerini ve hesaplama taleplerini karşılamak için çeşitli işlemcilere sahip olmak gerekmekte. Her biri ayrı iş alanlarında görev yapan merkezi işlem birimi (CPU) ve grafik işlem birimi (GPU) ile birlikte yapay zeka merkezli özel tasarım işlemciler kullanmak, işlem çeşitliliğini kullanan heterojen bilgi işlem mimarisi ile mümkün oluyor. Örneğin, merkezi işlem birimi (CPU) sıralı kontrol ve anlık işlemlerden, grafik işlem birimi (GPU) paralel veri akışından ve sinirsel işlem birimi (NPU) skaler, vektör ve tensör aritmetiğini içeren temel yapay zeka görevlerinden sorumlu. Heterojen bilgi işlem, son kullanıcıların üretken yapay zeka ile yaşadıkları deneyimleri geliştirmek için uygulama performansını, cihaz termal verimliliğini ve pil ömrünü artırıyor.
NPU’ların Rolü Ne?
Her sistem için geçerli olmasa bile NPU’yu bir yardımcı işlemci olarak nitelendirebiliriz. NPU’lar, CPU ve GPU’ların işlevlerini tamamlamak üzere tasarlandı. CPU’lar çok çeşitli görevleri yerine getirirken ve GPU’lar ayrıntılı grafikler oluşturma konusunda üstünlük sağlarken, NPU’lar yapay zeka odaklı görevleri hızlı bir şekilde yürütme konusunda uzman. Bu sayede sistem genelindeki farklı iş yükleri ayrı alanlara dağılıyor, GPU ve CPU farklı iş yükleriyle uğraşırken kapasitesini sonuna kadar kullanmamış oluyor.
Örneğin, video görüşmelerinde bir NPU, arka planı bulanıklaştırma görevini verimli bir şekilde yönetebilir ve GPU’yu daha yoğun görevlere odaklanmak için serbest bırakabilir. Benzer şekilde fotoğraf veya video düzenlemede NPU’lar nesne algılama ve yapay zeka ile ilgili diğer işlemleri gerçekleştirerek iş akışının genel verimliliğini artırabilir.
Makine Öğrenimi (ML) Algoritmaları
Makine öğrenimi (machine learning) algoritmaları, yapay zeka uygulamalarının bel kemiğini oluşturur. Genellikle yapay zeka ile karıştırılsa da, makine öğrenimi bir yapay zeka türü olarak görülebilir. Bu algoritmalar veri modelleri üzerinden elde edilen verileri öğrenir, açık programlama olmadan tahminler yapar ve kararlar verir. Dört tür makine öğrenimi algoritması var: denetimli, yarı denetimli, denetimsiz ve takviyeli. NPU’lar, modelleri iyileştirmek ve gerçek zamanlı tahminler yapmak için geniş veri kümelerinin işlendiği eğitim ve çıkarım gibi görevleri yerine getirerek bu algoritmaların verimli bir şekilde yürütülmesinde önemli bir rol oynar.
Gelecekte NPU’lar Daha Önemli Olacak
NPU’lar 2024 itibarıyla yayılmaya başladı, gelecekte belki de her işlemci NPU barındıracak. Intel, Meteor Lake çipleriyle birlikte ilk adımını attı. AMD ise Ryzen 8040 mobil işlemcileriyle birlikte fitili ateşlemişti.
Kaçınılmaz olarak NPU’ların ön planda olduğu yapay zeka odaklı uygulamalara olan talep artmaya devam edecek. Böylelikle nöral işlem üniteleri daha önemli hale gelecek. Makine öğrenimi görevleri için optimize edilmiş özel mimariler, NPU’ların bilgi işlem dünyasında ilerlemesine olanak tanıyor. GPNPU’ların ve makine öğrenimi algoritmalarındaki ilerlemelerin birleşimi, şüphesiz daha önce görmediğimiz gelişmeleri tetikleyerek teknolojinin ilerlemesini sağlayacak ve dijital ortamımızı yeniden şekillendirecek.
Şu anda NPU gözünüzde önemsiz görünebilir, bu normal. Ancak gelecekte yapay zeka işlevleri giderek her işletim sistemine ve uygulamaya girecek. Böylelikle konumuz olan işlem birimleri daha önemli hale gelecek.
Yapay Zeka Destekli Bilgisayarlar Yayılıyor
Bir bilgisayarın “yapay zeka destekli” olarak kabul edilmesi için karşılanması gereken gereksinimler var. Microsoft, AI bilgisayarlarda bulunan NPU’nun minimum 45 TOPS performans sunması gerektiğini söyledi. AMD ve Intel’in mevcut nesil yongaları ise şu anda bu gereksinimi karşılayamıyor.
Masaüstü tarafında Intel’in şu anda NPU barındıran işlemcileri yok, bu nedenle tek seçenek AMD. Mobil alanda Meteor Lake işlemcileriyle boy gösteren Intel, AMD’nin Ryzen 8040 (Hawk Point) işlemcilerine rakip seçenekler sunuyor.
Dikkat çekici bir şekilde, ne AMD ne de Intel’in çipleri Microsoft’un 45 TOPS değerindeki performans gereksinimlerini karşılayamıyor. Ancak her iki şirket de Strix Point ve Lunar Lake kod adlı yeni nesil işlemcileriyle bu istekleri karşılayacağını söylüyor. 45 TOPS olarak belirlenen ihtiyaç, Microsoft Copilot’un AI öğelerini yerel olarak çalıştırabilmesini sağlamak için. Ancak bu işlevselliği etkinleştirecek gelecekteki bir Windows güncellemesinin mevcut AMD ve Intel işlemci nesillerinde nasıl sonuç vereceği bilinmiyor. Qualcomm’un Snapdragon X Elite Arm yongaları, yıl ortasında 45 TOPS NPU performansıyla birlikte piyasaya çıkacak. Apple’ın M3 işlemcileri 18 TOPS NPU performansı sunuyor lakin Apple cephesinin Microsoft gereksinimleriyle bir ilişkisi yok.
Yapay zeka iş yükleri için sunulan donanım desteği, ticari alandaki kritik gizlilik endişelerinin hafifletilmesine yardımcı olmakta. Aynı zamanda AI uygulamaları için gecikme, performans ve pil ömrü avantajları da sunuluyor. Bir not olarak, bir AI görevi GPU yerine NPU ile çalıştırıldığında güç verimliliği elde edilebiliyor.
Intel Meteor Lake
Intel, “AI PC” olarak adlandırdığı bir trendin başlangıcını yaptı. Intel 4 (7nm) teknolojisiyle üretilen Meteor Lake işlemciler, Intel’in Foveros 3D hibrit tasarımını benimsiyor. Aynı zamanda nöral işlem birimlerini ya da diğer adıyla NPU’ları kullanan ilk Intel işlemcilere bakıyoruz. Şirket, NPU’nun (Apple, Qualcomm ve AMD kendi özel NPU’larına sahip) “yapay zeka PC” çağını başlatacağını öne sürmüştü.
Meteor Lake, tüm bilgi işlem motorlarında yerleşik yapay zeka yeteneklerinin yanı sıra güç tasarruflu yapay zeka hesaplaması için ilk kez NPU adı verilen işlemcileri kullanacak. Böylelikle kullanıcıların bazı yazılımlarda yürüttüğü yapay zeka işleri hızlandırılmış olacak. Aslında yapay zeka yalnızca NPU ile bağlantılı değil, GPU ve CPU da AI iş yükleri için optimize edilmiş. Ancak NPU sadece yapay zeka görevlerine odaklanacak şekilde hazırlandı:
GPU: Dahili GPU, medya, 3D uygulamalar ve render işlem hattında yapay zeka için ideal olan performans paralelliğine ve verimliliğe sahip.
NPU: NPU (nöral işlem birimi), sürekli yapay zeka ve yapay zeka aktarımı için özel olarak tasarlanmış düşük güçlü bir yapay zeka motoru olarak geliyor.
CPU: CPU, hafif, tek çıkarımlı ve düşük gecikmeli yapay zeka görevleri için ideal şekilde hızlı tepki sürelerine sahip.
Lunar Lake Yolda
Intel, Vision 2024 etkinliğinde gelecekteki bilgisayarlara güç verecek Lunar Lake işlemcilerini tanıtmıştı. Bu işlemciler Intel Core Ultra 2 serisinin bir parçası olan Intel Core Ultra 200V’yi kullanarak Core Ultra 1 serisine göre yapay zeka hesaplama hızında önemli gelişmeler vaat ediyor. Intel CEO’su Pat Gelsinger, Vision 2024 etkinliğinde Lunar Lake işlemcilerinin AI performansında üç kat artış sağlayacağını ve toplam işlem gücünde 100 TOPS sınırını aşabileceğini vurguladı.
AMD Ryzen 8040 “Hawk Point”
Windows 12 ile ilgili sızıntıları konuşurken donanım taraflı yapay zeka çözümlerinden de bahsetmiştik. AMD’nin XDNA çipleri de sadece AI uygulamalarına yönelik. AMD gibi şirketler de donanımsal yeniliklerle yapay zeka performansını artırmaya odaklanıyor. Yonga üreticisi, XDNA 2 NPU’nun yanı sıra meraklıların ve geliştiricilerin XDNA AI motoruyla çalışan önceden eğitilmiş AI modellerini dağıtmasına olanak tanıyan bir uygulama da tanıttı: Ryzen AI Software.
AMD, 8040 serisinin en önemli satış noktalarından biri olarak geliştirilmiş NPU performansına işaret ediyor. XDNA motoru bir önceki 7040 modellerinde 10 TOPS’luk performans sağlarken, 8040 ile birlikte bu değer 16 TOPS’a yükseldi.
Ryzen 8040HS mobil çiplerinin beşi de yapay zeka için tasarlanan ve daha yaygın olarak ‘Ryzen AI’ olarak bilinen XDNA tabanlı NPU’sunu içeriyor. Teknik olarak AMD’nin tüm Ryzen 7040 Serisi (Phoenix) CPU’larında NPU’nun fiziksel olarak bulunduğunu, ancak şirketin çoğu modelde bunu etkinleştirmediğini belirtelim.
Tekrar hatırlatmak gerekirse, NPU yeni bir donanım değil: AMD’nin Xilinix’i satın almasıyla birlikte elde ettiği Xilinx IP’sini kullanıyor. Satıcılar, üreticiler, yazılım geliştiriciler ve tüm dünya yapay zekanın gelecekte sağlayabileceği değerli faydaları ve yetenekleri benimsedikçe AMD de yapay zeka yeteneklerini doğrudan işlemci silikonlarına entegre etmeye devam ediyor.
AMD, Strix Point’i Hazırlıyor
Lansman sırasında “Strix Point” kod adlı mobil çiplerden de bahsedilmişti. 2024 yılında piyasaya çıkması beklenen Strix Point işlemciler yeni XDNA 2 NPU yapay zeka motoru sayesinde üç kata kadar daha fazla yapay zeka performansı sunacak. Uzun lafın kısası, 2024 ve 2025 yılları yapay zekayla dolu bir yıl olacak.
AMD, yakında çıkacak olan Strix Point APU serisinin yeni XDNA2 AI mimarisiyle destekleneceğini belirtmişti. Bu mimarinin Hawk Point XDNA AI mimarisine kıyasla üç kata kadar performans artışı sağlaması bekleniyor.
ARM PC’ler: Qualcomm Snapdragon X Elite
Qualcomm, 2024 yılının sonlarında 45 TOPS performansa sahip X Elite çiplerini piyasaya sunacak. Şirket, Snapdragon X Elite dizüstü bilgisayarın yapay zeka iş yükünde Intel Core Ultra 7 dizüstü bilgisayarı 10 kata kadar geride bıraktığını gösteren kısa bir video yayınlamıştı:
Anlayacağınız rekabet yalnızca AMD ve Intel arasında değil. Video açıklamasına göre isimsiz Snapdragon X Elite modeli, “benzersiz yapay zeka yetenekleri sunan, çığır açan 45 TOPS NPU” sunuyor. Qualcomm tarafından gerçekleştirilen NPU testleri, Stabil Difüzyon ve GIMP’de yapay zeka görüntü oluşturmayı içeriyor. Bu arada, testlerde bulut yerine yerleşik işlemciler kullanıldı.
Yaklaşan Qualcomm çipinin NPU testinde böyle üstünlük sağlaması şaşırtıcı değil. Snapdragon X Elite, AI iş yüklerinin üstesinden gelmek için resmi olarak 45 TOPS’luk performans sunabiliyor. Intel’in Core Ultra serisi ise en iyi senaryoda “34 TOPS’a” ulaşabiliyor.
Bahsettiğimiz gibi, Meteor Lake Intel’in entegre NPU’ya sahip ilk işlemci ailesiydi ve yeni nesil Arrow Lake (masaüstü) ve Lunar Lake (dizüstü bilgisayar) ile performans bir üst noktaya taşınacak.
Microsoft Copilot Yakında Bilgisayarlarda Yerel Olarak Çalışacak
Microsoft’un Copilot AI hizmetinin yakında bulut yerine yerel olarak PC’lerde çalışacağını ekleyelim. Teknoloji devi, bunun için CPU’larda minimum 40 TOPS performans şartı arayacak. Microsoft ve Intel’in birlikte yaptığı yeni tanıma göre bir yapay zeka bilgisayarında NPU, CPU, GPU, Microsoft’un Copilot’u ve doğrudan klavye üzerinde fiziksel bir Copilot tuşu bulunacak. Gereksinimleri karşılayan PC’ler halihazırda mevcut, ancak ancak bu AI PC girişiminin sadece ilk dalgası.
Intel’in İstemci Bilgi İşlem Grubu Başkan Yardımcısı Todd Lewellen, konuyla ilgili şunları söylemişti:
“Bir süreklilik ya da evrim olacak ve daha sonra NPU’da 40 TOPS gereksinimi olan yeni nesil yapay zeka bilgisayarına geçeceğiz. Bu kategoride yer alacak yeni nesil bir ürünümüz var.
Ve yeni nesle geçtiğimizde, tıpkı Copilot’u istemcide yerel olarak çalışan daha fazla Copilot unsuruyla çalıştıracakları gibi, daha fazla şeyi yerel olarak çalıştırmamızı sağlayacak. Bu, Copilot’taki her şeyin yerel olarak çalıştığı anlamına gelmeyebilir, ancak NPU’da çalıştığını göreceğiniz birçok temel yetenek elde edeceksiniz.”
Şu anda Copilot hesaplaması bulutta gerçekleşiyor, ancak iş yükünün yerel olarak yürütülmesi gecikme, performans ve gizlilik avantajları sağlayacak. Lewellen, Microsoft’un yeni platformlarla müşteri deneyimine odaklandığını açıkladı. Microsoft, pil ömrü üzerindeki etkiyi en aza indirmek için Copilot’un GPU yerine NPU üzerinde çalışmasında ısrar ediyor.
AI NPU’lar Windows Görev Yöneticisi Üzerinden İzlenebilecek
AMD, XDNA NPU’ların Computer Driver Model (Bilgisayar Sürücüsü Modeli) aracılığıyla yakında Windows Görev Yöneticisine geleceğini doğruladı. Şu anda Windows 11 yalnızca Intel’in yeni Core Ultra Meteor Lake CPU’larındaki NPU birimlerini izleyebiliyor, ancak güncellemeler geldikten sonra bu durum değişecek.
AMD, Windows 11’in AMD’nin XDNA NPU kullanımını izlemesini sağlamak için Microsoft’un Bilgi İşlem Sürücü Modelini (MCDM) kullanacak. MCDM, NPU gibi yalnızca hesaplama mikroçip işlemcileri için özel olarak tasarlanmış Microsoft Windows Görüntü Sürücüsü Modelinin (WDDM) bir parçası. AMD’ye göre MCDM, CPU ve GPU’ya benzer güç yönetimi ve zamanlama da dahil olmak üzere Windows’un NPU’yu yönetmesine de olanak tanıyor.
Yakında birden fazla uygulama aynı anda NPU üzerinde çalışacak. Böylelikle Windows üzerinden donanım izleme süreci daha önemli hale gelecek.
