2. Fórumok
  3. Videokártyák
  4. AMD GPU-k jövője - amit tudni vélünk
  5. (kiemelt téma)
Keresés
  • Téma összefoglaló
    Utoljára frissítve: 2024-08-23 16:13

    Fototrend

    A legtöbb kérdésre (igen, talán arra is amit éppen feltenni készülsz) már jó eséllyel megtalálható a válasz valahol a topikban. Mielőtt írnál, lapozz vagy tekerj kicsit visszább, és/vagy használd bátran a keresőt a kérdésed kulcsszavaival!

Új hozzászólás Aktív témák

  • #63871 S_x96x_S addikt Raymond #63869
    Új Válasz #63871
    Új hozzászólás
    Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
    Privát üzenet küldése

    S_x96x_S

    addikt

    válasz Raymond #63869 üzenetére

    > Igen, es az adott feladatorka gyorsabb.

    De vajon miért adtak egy
    valag pénzt Geohot-nak erre a befektetők?

    Talán érdemes megismerni a TinyCorp mester tervét ..
    https://twitter.com/__tinygrad__/status/1724198204441546995
    ami faék egyszerű,

    és a hw csak a 2. lépés.
    a végcél egy olcsó (consumer) hw-ből építhető cloud ..
    és emiatt a te 4xA6000 (Ampere) javaslatod eleve nem ideális mert nem skálázható ( több évre és gazdaságosan )

    "
    1. build tinygrad framework (give it away)
    2. build very cost efficient hardware to run tinygrad (sell it to make money)
    3. build a massive cloud of this very cost efficient hardware (rent it to make money)
    4. train the largest models in history
    "

    hw célja:
    - 738 FP16 TFLOPS and 5.76 TB/s of ram bandwidth
    - jelenlegi ár: $20.33/TFLOP and $2.60/GB/s.

    és ezt kellene elérnie a 4xA6000 (Ampere)/nVidia - alternativának
    ( hosszú távon is ) ami az Ada és a Blackwell árazását nézve a lehetetlennel azonos feladat.

    összehasonlításul papíron az MI300 -nak a teljesítménye:
    - Peak FP16/BF16* 980.6 TFLOPS
    - Memory Bandwidth: 5.3 TB/s

    "2. The hardware play

    We sell a $15,000 deep learning box (the tinybox) with 738 FP16 TFLOPS and 5.76 TB/s of ram bandwidth. After extensive research, we haven’t found anything that’s a cheaper off the shelf way to achieve those $/TFLOPS and $/GB/s numbers. The first generation tinybox is $20.33/TFLOP and $2.60/GB/s. While gaming PCs may have higher numbers, they do not scale. tinyboxes can be linked with a full 16x PCI-E 4 fabric.

    What’s inside the box doesn’t really matter, and will be updated over time with the best way to lower $/TFLOP and $/GB/s. We will push down the stack as appropriate, potentially going as far as taping out chips if it makes sense. All our hardware is sold at a profit such that we can be sustainable."

    A terv egyszerű ..
    ha az Intel vagy az nVidia olcsóbban
    adja a $/TFLOPS and $/GB/s -t, akkor csak lecserélik a hw-t,
    és a tinygrad framework ugyanúgy működik tovább.

Új hozzászólás Aktív témák