Új hozzászólás Aktív témák

• #16 Raymond titán

  Új Válasz 2025-02-26 12:29:06 #16

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Raymond

  titán

  "A vállalat szerint a kedvelt Llama 3.3 70B Q6 LLM-mel valós időben lehet úgymond beszélgetést folytatni"

  Sure Meg a Q4-el is csak olyan 5-6 tok/s a sebesseg ami minden csak nem folyamatos beszelgetes.

  "Ez viszont a vállalat szerint még mindig sokkal olcsóbb a 4800 dollárért kérhető, 128 GB RAM-mal szerelt Apple Mac Studio konfigurációnál, ráadásul gyorsabb is nála."

  Csak ott almat hasonlitanak a kortehez (har har) raadasul nem gyorsabb annal a $4800 konfiguracional termeszetesen mert az mar M2 Max/Ultra vagy M4 Max az ujabb termekeknel. Amihez hasonlitani lehet teljesitmenyben az az M4 Pro-val szerelt gepek ahol 276GB/s a memoria savszel (vs. az ennel levo 256GB/s) es azokkal durvan egy arkategoria. Shocker! Valamivel olcsobb mert hat Apple tax, ennek a 128GB konfig ara van ott ahol a Mac Mini M4 Pro 64GB van. Ebbol is inkabb a 64GB-nal van ertelme mert a nagyobb modelleknel ahol a 128GB RAM (96GB VRAM) kene ott nem kapsz normalis sebesseget a limitalt savszel miatt.

  1279€ - Ryzen AI Max 385 (8C 8050S) 32GB
  1895€ - Ryzen AI Max+ 395 (16C 8060S) 64GB
  2329€ - Ryzen AI Max+ 395 (16C 8060S) 128GB

  Az 1895 kimondottan jo ar erte, a 48GB VRAM eleg a 70/72B Q4-nek is (40-42GB) es a sebesseg is kezdi a turheto hatart elerni alulrol (5-6 tok/s) ami speculativ decoding mellet akar 8-10 tok/s-re is feltornazhatja magat.

  Ha valakinek szukos lenne megis az a 64GB/48GB konfiguracio akkor ott a 128GB, de a felara eleg nagy. Persze meg mindig kisebb mint egy Apple cuccnal.

Új hozzászólás Aktív témák