Új hozzászólás Aktív témák

• #4 ddekany nagyúr zooly #2

  Új Válasz 2025-05-24 18:42:42 #4

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  nagyúr

  válasz zooly #2 üzenetére

  A memória sávszélesség gond lesz, ha olyan modellről beszélünk, ami méretre kihasználná ezt. Ha LLM-eket nézünk, talán a 14B-s (vagy MoE annyi active-al?) súlycsoport az, ami ilyen sávszélességgel használható sebességet ad? Az is csak ha nem "thinking". De lehet hogy valahol sok kicsi modellt akarnak egyszerre használni, vagy attól függetlenül is kell sok memória. De nagyon specifikus eset lehet, ahova pont ez kell.

• #3 csendes addikt zooly #2

  Új Válasz 2025-05-24 11:20:38 #3

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  csendes

  addikt

  válasz zooly #2 üzenetére

  És mi a célterület, ahol párhuzamos számításban erős, de nehezen bővíthető mini PC-t akarnak használni nVidia platformon saját fejlesztésű AI alkalmazásokhoz?

• #2 zooly aktív tag ddekany #1

  Új Válasz 2025-05-24 09:06:13 #2

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  zooly

  aktív tag

  válasz ddekany #1 üzenetére

  Nem csak allitolag, nvidia oldalan kint van a datasheet ami szerint 273gb/sec. De a (szuk) celteruleten az a lenyeg, hogy unified es viszonylag sok van belole

• #1 ddekany nagyúr

  Új Válasz 2025-05-23 16:53:13 #1

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  nagyúr

  A DGX Spark, ha minden igaz, 256-bit LPDDR5x, szóval kb. 250-300 GB/s memória sávszélesség. Kb. egy RTX 4050 és 4060 VRAM sávszél közt. HBM (vagy dedikált VRAM) nincs, csak közös memória. Ár 3000 $-tól (szóval csak nagyon kb. 1,2M Ft + áfa).

Új hozzászólás Aktív témák