2. Fórumok
  3. PC, mini PC, barebone, szerver
  4. Napokon belül megjön az új, M4-es Mac mini is
Keresés

Új hozzászólás Aktív témák

  • #27 S_x96x_S addikt Surfym@n #22
    Új Válasz #27
    Új hozzászólás
    Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
    Privát üzenet küldése

    S_x96x_S

    addikt

    válasz Surfym@n #22 üzenetére

    > m4 pro milyen lehet AI gyorsításban pl egy nVidia RTX A5000-hez képest?

    meg kell nézni majd a benchmarkokat.

    de ha a nagy VRAM és a fogyasztás jobban számít
    mint a gyorsaság és a CUDA kompatibilitás
    akkor az M4 PRO - ideális.

    -------
    Pl. A nagy LLM -re ( > 32Gb )
    az új Mac Mini M4 Pro - ideális hobby megoldás.
    999 990 Ft -tól kapsz egy
    - 64 GB egyesített memóriát
    - Apple M4 Pro chip 12 magos CPU‑val, 16 magos GPU‑val és 16 magos Neural Engine-nel
    - 273GB/s of memory bandwidth -et

    Persze az M4 Max -os laptopok még ideálisabbak - mivel a mem. sávszélesség is elég fontos a helyi LLM-ek futtatásánál.
    ( M4 Max supports up to 128GB of fast unified memory and up to 546GB/s of memory bandwidth -- de ez már >=2 349 990 Ft )

    összehasonlításul:
    - Az RTX 5000 - Bandwidth 768.0 GB/s (24GB)
    - Az RTX 5000 Ada - Bandwidth : 576.0 GB/s ( 32GB ) [ ~ 2.4 Milla ]

    ----------

    és az új CPU-s "SME" támogatás is érdekes - amit majd a szoftver updatek tudnak kihasználni.
    "Apple's matrix accelerator is a dedicated hardware unit — it is not part of the CPU core. There is one AMX/SME block in a CPU cluster, shared by all CPU cores. This has a number of interesting consequences. First, the matrix accelerator has access to much higher bandwidth than the individual CPU cores, since it is directly fed from the cluster L2. Second, the latency of executign SME instructions is high, as data communication needs to happen via the L2 cache (there is presumably a fast control bus to share the execution state). Third, one does not need to resort to parallel programming to harvest the performance benefits of SME. Initial experiments suggest that a single CPU tread can already achieve peak processing rate on the SME unit. Finally, those seeking highest possible performance can use on-CPU SIMD (Neon) and SME simultaneously for an additional boost."
    https://github.com/tzakharko/m4-sme-exploration

Új hozzászólás Aktív témák