2. Fórumok
  3. Alaplapok, chipsetek, memóriák
  4. Megreformálja az otthoni AI-t a Framework Desktop
Keresés

Új hozzászólás Aktív témák

  • #30 S_x96x_S addikt Raymond #28
    Új Válasz #30
    Új hozzászólás
    Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
    Privát üzenet küldése

    S_x96x_S

    addikt

    válasz Raymond #28 üzenetére

    > Az hogy inference kozben kevesebb az aktiv
    > az a memoriameret igenyeknel lenyegtelen mert a komplett cuccot be kell olvasnod.

    A clustert erre találták ki. (+ exo, zml és társai )

    És az nvidia Digits -nek is hasonló memória sávszélje lesz 128GB -al. ( ~ 260 Gb/s ; legalábbis meglepő lenne ha többet tudna )
    és amit szintén lehet clusterezni:
    "High performance networking enables connecting two Project DIGITS systems together to work with AI models up to 405 billion parameters."
    Persze a Digits -ről csak márciusban lesz pontosabb infó.

    Ami te mondasz hogy csak a 64 GB-nak van értelme
    az főleg a Laptopokra lehet igaz - mert azokat nem szokták clusterezni
    ( persze kivétel mindig van )

    a Strix Halo - a 16 full Zen5-ös AVX-512 -CPU -val tudományos számításokra is
    jó, De még játszani is lehet vele ..
    Vagyis egy mindenre is jó univerzális workstation lehet.

    -----------

    Vagyis a 128GB Mem előnye, hogy könnyebb skálázni.

    https://frame.work/hu/en/desktop?tab=machine-learning
    ""
    NEED A CLUSTER?

    Framework Desktop has 5Gbit Ethernet along with two USB4 ports, allowing networking multiple together to run even larger models with llama.cpp RPC. With a Mini-ITX form factor, you can also pick up the Mainboard on its own and build it into your own mini-racks or standard rackmount server cases for high density.
    ""


    És ha valakinek csak az alapok kellenek - akkor
    6-8 db - "Ryzen™ AI Max+ 395 - 128GB" alaplap
    6-8 x 829,990 Ft
    összekötve már elég nagy modelleket is tud futtatni.

Új hozzászólás Aktív témák