[Re:] Computex 2025: apró AI szuperszámítógép az ASUS-nál

LOGOUT témák

PROHARDVER! témák

Mobilarena témák

IT café témák

GAMEPOD témák

Új hozzászólás Aktív témák

#6 ddekany veterán nuke7 #5

Új Válasz 2025-06-02 20:41:59 #6
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

ddekany

veterán

válasz nuke7 #5 üzenetére

Ha csak 1 közepesen-kicsi model kell, akkor biztos gyorsabb egy 4090/5090. Persze egy 5090 meg ami alá kell már nem lesz olcsóbb, mint ez a komplett gép.
#5 nuke7 veterán ddekany #4

Új Válasz 2025-06-01 11:47:43 #5
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

nuke7

veterán

válasz ddekany #4 üzenetére

igen, ez fura, hogy hiába van jó gpu meg jó sok ram, meg se közelíti a vram sebességet... vajon egy 5090 / 4090 jobban megérheti akkor már..? (csak 32GB vram-al...)
#4 ddekany veterán zooly #2

Új Válasz 2025-05-24 18:42:42 #4
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

ddekany

veterán

válasz zooly #2 üzenetére

A memória sávszélesség gond lesz, ha olyan modellről beszélünk, ami méretre kihasználná ezt. Ha LLM-eket nézünk, talán a 14B-s (vagy MoE annyi active-al?) súlycsoport az, ami ilyen sávszélességgel használható sebességet ad? Az is csak ha nem "thinking". De lehet hogy valahol sok kicsi modellt akarnak egyszerre használni, vagy attól függetlenül is kell sok memória. De nagyon specifikus eset lehet, ahova pont ez kell.
#3 csendes addikt zooly #2

Új Válasz 2025-05-24 11:20:38 #3
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

csendes

addikt

válasz zooly #2 üzenetére

És mi a célterület, ahol párhuzamos számításban erős, de nehezen bővíthető mini PC-t akarnak használni nVidia platformon saját fejlesztésű AI alkalmazásokhoz?
#2 zooly aktív tag ddekany #1

Új Válasz 2025-05-24 09:06:13 #2
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

zooly

aktív tag

válasz ddekany #1 üzenetére

Nem csak allitolag, nvidia oldalan kint van a datasheet ami szerint 273gb/sec. De a (szuk) celteruleten az a lenyeg, hogy unified es viszonylag sok van belole
#1 ddekany veterán

Új Válasz 2025-05-23 16:53:13 #1
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

ddekany

veterán

A DGX Spark, ha minden igaz, 256-bit LPDDR5x, szóval kb. 250-300 GB/s memória sávszélesség. Kb. egy RTX 4050 és 4060 VRAM sávszél közt. HBM (vagy dedikált VRAM) nincs, csak közös memória. Ár 3000 $-tól (szóval csak nagyon kb. 1,2M Ft + áfa).