Új hozzászólás Aktív témák
-
S_x96x_S
addikt
ha valakit bővebben is érdekelne ...
a benchmark amit posztoltam állítólag még nem frissült és
azóta 20% -al jobb a teljesítmény.https://www.reddit.com/r/LocalLLaMA/comments/1mao95d/running_llms_exclusively_on_amd_ryzen_ai_npu/
"""
Our goal is to make AI more accessible and efficient on NPUs, so developers can build ultra-low-power, always-on AI assistant–style apps that run locally without draining resources from GPU or CPU. So we think it could be good for future immersive gaming, local AI file management, among other things ...
We chose AMD NPU not just for power efficiency, but also because of the excellent low-level tooling—like Rialto, AIE-MLIR, IRON, and MLIR-AIR—which gives us the flexibility and control we need for deep hardware optimization. Plus, AMD NPUs are genuinely efficient! (We are not from AMD BTW.)
""""""
We only benchmarked it on Kraken. Strix or Strix Halo have a smaller mem BW for NPU. Kraken is about 20% faster (Note that this can vary on different computers, clock speed, mem BW allocation, etc.).
This was done about a month ago (but we are about 20% faster now on Kracken)
https://docs.fastflowlm.com/benchmarks/llama3_results.html
""" -
tibaimp
nagyúr
Én simán el tudok képzelni olyat, hogy a jövőben a játékokhoz is kellhet majd dedikált NPU kártya, mint most a dVGA! Ezzel lenne megoldva például az honosított szinkron/felirat, esetleg a játékban egyes NPC-k válaszai, reakciója, stb. Hogy, ez jó lenne-e, az már jó kérdés...
-
S_x96x_S
addikt
ha valaki érdekel ( és AI 300 cpu-ja van XDNA2 -es NPU -val )
https://github.com/FastFlowLM/FastFlowLMbenchmark ( NPU vs. iGPU vs . CPU ) :
https://docs.fastflowlm.com/benchmarks/llama3_results.html
Új hozzászólás Aktív témák
- BOMBA ÁR Új Dell Inspiron 16" Gamer Tervező Vágó Laptop -50% Ultra 7 155H 16/1TB RTX 4060 8GB 2,5K
- ASUS ROG STRIX RTX 4070 Ti SUPER OC Edition 16G (kishibás) videokártya garanciával
- Iskolakezdési AKCIÓ! - I7-8700/16GB DDR4/Gigabyte B360/GTX1070/1TB HDD/240GB SSD - 144.999,-
- HP ZBOOK 17 G6 Tervező Vágó Laptop -60% 17,3" i7-9850H 16/512 QUADRO RTX 3000 6GB FHD
- Samsung S21 5G megkímélt jó állapotban.
- Akció! Újra Gamer EGEREK! Glorious , Endgamer XM1R , Nibio
- Bomba ár! Dell Latitude E5570 Touch - i5-6300U I 8GB I 256SSD I 15,6" FHD I HDMI I CAM I W10 I Gari
- BESZÁMÍTÁS! ASRock X570 R9 5900X 32GB DDR4 1TB SSD RX 7800 XT 16GB Fractal Design Meshify 2 850W
- Samsung Galaxy A04S 32GB Kártyafüggetlen 1Év Garanciával
- Dell Latitude 7440 -14"FHD+1 IPS - i5-1345U 16GB - 512GB - Win11 - 1 év garancia + Dokkoló + 240W DC
Állásajánlatok
Cég: CAMERA-PRO Hungary Kft.
Város: Budapest