Új hozzászólás Aktív témák

• #4 ddekany nagyúr zooly #2

  Új Válasz 2025-05-24 18:42:42 #4

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  nagyúr

  válasz zooly #2 üzenetére

  A memória sávszélesség gond lesz, ha olyan modellről beszélünk, ami méretre kihasználná ezt. Ha LLM-eket nézünk, talán a 14B-s (vagy MoE annyi active-al?) súlycsoport az, ami ilyen sávszélességgel használható sebességet ad? Az is csak ha nem "thinking". De lehet hogy valahol sok kicsi modellt akarnak egyszerre használni, vagy attól függetlenül is kell sok memória. De nagyon specifikus eset lehet, ahova pont ez kell.

• #3 csendes addikt zooly #2

  Új Válasz 2025-05-24 11:20:38 #3

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  csendes

  addikt

  válasz zooly #2 üzenetére

  És mi a célterület, ahol párhuzamos számításban erős, de nehezen bővíthető mini PC-t akarnak használni nVidia platformon saját fejlesztésű AI alkalmazásokhoz?

Új hozzászólás Aktív témák