Új hozzászólás Aktív témák

• #32 Mp3Pintyo senior tag

  Új Válasz 2025-02-26 14:42:52 #32

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Mp3Pintyo

  senior tag

  Redditen olvastam elemzéseket ami alapján a várható sebessége egy nagyobb modell esetén 2 token/sec lesz.
  De ha mondjuk ezt feltornászod spekulativ dekódolással akkor is csak 4-5 token/sec-et lehet összehozni.
  Ez iszonyú messze van a valós időtől. Leginkább hajtépően lassú.

  Azért ne hasonlítsuk már egy Mac Studiohoz. Ez kicsit több mindenre jó, ráadásul egy baromi jól kiépített ökoszisztémát kapsz.

  Saját gépen nekem a 32B modell nvidia 3090-es kártyával hozza a 48 token/sec-es sebességet. Tény, hogy nem fér bele nagyobb modell de óriási a különbség a 4 és a 48 között.

Új hozzászólás Aktív témák