Új hozzászólás Aktív témák
-
egyebkent meg mindig nincs olyan modell, ami ertelmes sebesseggel fut 'cpu only'? lm studioval szoktam jatszani az otthoni epyc 7713-on 512G ram-mal (8 csatorna), de nem egy villam. (a videokartya egy rx6800, meg epp nem tamogatja a ROCm, sem docogosen, sem docogostelenul
) szoval altalaban a vulkan-t hasznalom. -
Teljesen el vagy tájolódva. A szerverbe annyi ramot pakolhatsz, amennyit csak szeretnél, abból úgy sem lesz vram. Ha a dedikált gpu azt kell használja akkor a sebesség és késleltetés a pcie-n keresztül ellehetetleníti az egészet. Nem szórakozásból pakolnak egyre több memóriát minden ai gyorsítóra és egyébb gpu-ra. Olyan szerver cpu amiben van egy gyors igpu pedig nem létezik.
-
S_x96x_S
addikt
> O RLY?
( ahelyett hogy kérdeznél,
túl sok előfelvetésed van, amelyeket nem validálász.
a félreértések oka leggyakrabban ez. )Ezt te irtad: #28
"Hiaba latsz benne fantaziat ha nincs olyan MoE ami belefer a 128 vagy a 192GB-ba a most mar lassan matuzsalemnek nevezheto Mixtral-on kivul. Az hogy inference kozben kevesebb az aktiv az a memoriameret igenyeknel lenyegtelen mert a komplett cuccot be kell olvasnod."Az én FANTÁZIÁMBAN a lokális Deepseek R1 futtatása a cél.
Ami egy MoE - és nem árt hozzá több 128GB-os Strix Halo> Foleg ugy hogy nem cluster-rol volt szo.
~ a fantáziámról volt szó ..
-
S_x96x_S
addikt
> Az hogy inference kozben kevesebb az aktiv
> az a memoriameret igenyeknel lenyegtelen mert a komplett cuccot be kell olvasnod.A clustert erre találták ki. (+ exo, zml és társai )
És az nvidia Digits -nek is hasonló memória sávszélje lesz 128GB -al. ( ~ 260 Gb/s ; legalábbis meglepő lenne ha többet tudna )
és amit szintén lehet clusterezni:
"High performance networking enables connecting two Project DIGITS systems together to work with AI models up to 405 billion parameters."
Persze a Digits -ről csak márciusban lesz pontosabb infó.Ami te mondasz hogy csak a 64 GB-nak van értelme
az főleg a Laptopokra lehet igaz - mert azokat nem szokták clusterezni
( persze kivétel mindig van )a Strix Halo - a 16 full Zen5-ös AVX-512 -CPU -val tudományos számításokra is
jó, De még játszani is lehet vele ..
Vagyis egy mindenre is jó univerzális workstation lehet.-----------
Vagyis a 128GB Mem előnye, hogy könnyebb skálázni.
https://frame.work/hu/en/desktop?tab=machine-learning
""
NEED A CLUSTER?
Framework Desktop has 5Gbit Ethernet along with two USB4 ports, allowing networking multiple together to run even larger models with llama.cpp RPC. With a Mini-ITX form factor, you can also pick up the Mainboard on its own and build it into your own mini-racks or standard rackmount server cases for high density.
""
És ha valakinek csak az alapok kellenek - akkor
6-8 db - "Ryzen™ AI Max+ 395 - 128GB" alaplap
6-8 x 829,990 Ft
összekötve már elég nagy modelleket is tud futtatni. -
-
S_x96x_S
addikt
> 64GB-nal van ertelme mert a nagyobb modelleknel ahol
> a 128GB RAM (96GB VRAM) kene ott nem kapsz
> normalis sebesseget a limitalt savszel miatt.a Mixture of Experts (MoE) vagy (MoTE) modelleknél
( mint amilyen DeepSeek R1 , GPT-4, Mistral ...)
sokkal kevesebb paraméter aktiv; vagyis a sávszél kevésbé gond.vagyis én a nagyobb VRAM -ban több fantáziát látok. ( Go 128GB , 196 GB ... )
) szoval altalaban a vulkan-t hasznalom.
![;]](http://cdn.rios.hu/dl/s/v1.gif)
Új hozzászólás Aktív témák
- iPhone XS Max 256GB Black -1 ÉV GARANCIA - Kártyafüggetlen, MS3997, 100% Akkumulátor
- ÁRGARANCIA!Épített KomPhone Ryzen 7 5700X 16/32/64GB RAM RX 9060 XT 8GB GAMER PC termékbeszámítással
- GYÖNYÖRŰ iPhone 12 mini 128GB Blue -1 ÉV GARANCIA - Kártyafüggetlen, MS3883, 100% Akkumulátor
- BESZÁMÍTÁS! ASUS H510M i3 10105F 16GB DDR4 240GB SSD 1TB HDD GTX 1050Ti 4GB Zalman T4 ADATA 600W
- ÁRGARANCIA!Épített KomPhone i5 14600KF 32/64GB DDR5 RAM RTX 5070Ti 16GB GAMER PC termékbeszámítással
Állásajánlatok
Cég: PCMENTOR SZERVIZ KFT.
Város: Budapest
Cég: Laptopműhely Bt.
Város: Budapest