2. Fórumok
  3. PC, mini PC, barebone, szerver
  4. Computex 2023: a szerverekre fókuszál az NVIDIA
Keresés

Új hozzászólás Aktív témák

  • #15 ddekany nagyúr Busterftw #12
    Új Válasz #15
    Új hozzászólás
    Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
    Privát üzenet küldése

    ddekany

    nagyúr

    válasz Busterftw #12 üzenetére

    Egyszerűen annyiról van szó jelenleg, hogy a modellek futtatásához nem elég a GPU, kell CPU is, és úgy, hogy közös memóriaterületen is dolgozhatnak. Mindenki más is ezt csinálja AI-ra, hogy GPU "magok" (vagy ahogy elnevezik a tensor műveletet végző izéket) közelébe pakol CPU magokat. (A CPU mag ISA meg valószínűleg valamilyen ARM-os lesz, ritkán RISC-V.)

  • #11 ddekany nagyúr Pikari #10
    Új Válasz #11
    Új hozzászólás
    Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
    Privát üzenet küldése

    ddekany

    nagyúr

    válasz Pikari #10 üzenetére

    Az nekem szinte kizártak tűnik, hogy az NN-ek (az "AI") eltűnnek, mint megannyi hype. Most talán jön egy csalódás szakasz, amikor az átlagemberek a kezükbe kapják a csodát, és rájönnek, hogy valójában még nem nagyon használható. De maga az alapelv úgy néz ki működik, szóval ez már szvsz marad, csak lassabban és fokozatosabban jön, mint egyesek állítják.

    Hogy az nVidia marad-e a vezető ebben... AMD-nek van ez a Instinct MI szériája, Intel is most igérgeti a "Falcon Shores"-t. De mintha ők csak üldözők lennének most. Ezek mind szerverbe szánt dolgok jelenleg, és egy sok milliárd paraméteres modell nem fog egyhamar otthoni gépen futni. Azaz ha egy kisebb be is kerül később az áltag gépekbe, akkor is hatalmas igény lesz a szerveren futtatásra, a nagy modellek esetén (és belátható időn belül). Ehhez képest lényegtelen, hogy egy die-ra megy a CPU-val, vagy csak egy tokozásba chiplet formájában, vagy külön tokozásba. (Egyik esetben se nevezném a CPU részének mérnöki szempontból.)

    Aztán vannak a radikálisabb megoldások, rakás startup, pl. Tenstorrent. De nem láttam egyenlőre bizonyítékot (mint rendes benchmark-ot), hogy ezeket valóban akkorát odacsapnának az nVidia tradicionálisabb megoldásának teljesítményben. Meg gondolom az nVidia sem ül babérjain, ha látja, hogy fennforgás van.

Új hozzászólás Aktív témák