Új hozzászólás Aktív témák
-
Raymond
titán
De igen, van par, peldaul Qwen3 30B A3B es Qwen3 Coder 30B A3B (3B aktiv parameter) vagy a gpt-oss 20B (3.6B aktiv parameter) es gpt-oss 120B (5.1B aktiv parameter). Ezek normalis sebessegel mennek CPU-val is a RAM-bol. Az a Qwen3 Q6-ben peldaul tud olyan 15-20 tok/s sebesseget egy DDR5 rendszeren, attol fuggoen hogy milyen a RAM (4800-5600-6400) es quant. Q4 valamivel jobb. RAM igenyek se brutalisak igazan, a Qwen3 26GB Q6-al es olyan 18GB Q4-el, a gpt-oss 20B pedig csak 12GB alapbol a 120B pedig 65GB (MX4FP formatum). Tehat ha van 96GB vagy tobb RAM-od (es turelmed) akkor meg a gpt-oss 120B hasznalhatonak nevezheto. A prompt processing persze CPU-val aranylag lassu ami akkor problema ha mar hosszabb a cseveges vagy eleve hosszu az elso prompt. Ha sikerul mondjuk 200-300 tok/s sebesseget ott elerni egy 8000 tokenes promptnal mar eleve fel percet is varsz mire egyaltalan elkezdi a generalast.
-
Raymond
titán
válasz
Kristof93
#37
üzenetére
Nocsak, ezt nem is lattam...
Nem en vagyok eltevedve hanem te. A kontextus is jo lett volna ha megnezed. Itt arrol volt szo hogy egy rakat 256GB/s savszelt tudo 128GB-os gepet osszekotni hogy a nagy modellek menjenek. Ennek nincs ertelme az eszmeletlen ara miatt. Produktiv kornyezetben ezt nem csinalod mert a teljesitmeny csapnivalo, ezt max jatszadozasra es kiprobalasra jo (a kollega pl. a full Deepseek R1-et celozzta meg), oda meg nem fogsz 12-14K USD/EUR-t beleolni mert ugyanazt megkapod ennek az arnak a toredekeert. A Strix Halo-nal lathato 256bit DDR5-8000 alltal adott 256GB/s megvan a 8-12 csatornas szever platformoknal is ahol egy darab gepbe belerakod a szukseges 512-768GB RAM-t es a komplett ar a toredeke lesz a 6x Framework gepek aranak. Ha jobban megerolteted magad es turelmes vagy akkor 1-2 darab Framework gep araert megvan a 12 csatornas gep 768GB RAM-al.
-
Raymond
titán
Csak hogy vilagos legyen pedig mar irtam regebben. Fantasztikus hogy tudsz giglizni es hasznalni az internetet, de sokat segitene ha ertened is amit olvasol es megertened az osszefuggeseket. Ez a resz egyelore nagyon nagyon hianyos. Case in point:
"Az én FANTÁZIÁMBAN a lokális Deepseek R1 futtatása a cél.
Ami egy MoE - és nem árt hozzá több 128GB-os Strix Halo"Ezt igy bughatod, mivel tobbe kerul es tobb a limitacio (clusteringnek hala) mint egy magasabb sebesseget elero sima 2U szerver lenne telepakolva RAM-al.
-
Raymond
titán
O RLY?
1. nem errol beszeltel hanem a 128GB-rol, tehat egy gep, foleg abban a kontextusban
2. ha mar ott tartasz hogy 6+ darab kell akkor ez eleve nem opcio mert 12K nyugati penzert inkabb egy 2U server egy 8 vagy 12 csatornas vezerlovel es 1TB+ RAM-alSzerk: egyebkent nem azt mondtam hogy *csak* a 64GB-nak van ertelme, olvasd el meg egyszer mit irtam ott. Foleg ugy hogy nem cluster-rol volt szo.
-
Raymond
titán
-
Raymond
titán
Elorendelni lehet es egy azert aranylag savasnyu aprosag kimaradt meg:
a jelek szerint majd valamikor Q3-ban szallitjak
A nominalis savszel 256GB/s es benchmarkban amit valaki mert par napja olyan 220GB/s amit ki lehet belole hozni. Ez egyebkent nagyon jo efektivitas, sokkal jobb mint a sima DDR5 vagy DDR4 platformjaiknal.
-
Raymond
titán
"A vállalat szerint a kedvelt Llama 3.3 70B Q6 LLM-mel valós időben lehet úgymond beszélgetést folytatni"
Sure
Meg a Q4-el is csak olyan 5-6 tok/s a sebesseg ami minden csak nem folyamatos beszelgetes."Ez viszont a vállalat szerint még mindig sokkal olcsóbb a 4800 dollárért kérhető, 128 GB RAM-mal szerelt Apple Mac Studio konfigurációnál, ráadásul gyorsabb is nála."
Csak ott almat hasonlitanak a kortehez (har har) raadasul nem gyorsabb annal a $4800 konfiguracional termeszetesen mert az mar M2 Max/Ultra vagy M4 Max az ujabb termekeknel. Amihez hasonlitani lehet teljesitmenyben az az M4 Pro-val szerelt gepek ahol 276GB/s a memoria savszel (vs. az ennel levo 256GB/s) es azokkal durvan egy arkategoria. Shocker!
Valamivel olcsobb mert hat Apple tax, ennek a 128GB konfig ara van ott ahol a Mac Mini M4 Pro 64GB van. Ebbol is inkabb a 64GB-nal van ertelme mert a nagyobb modelleknel ahol a 128GB RAM (96GB VRAM) kene ott nem kapsz normalis sebesseget a limitalt savszel miatt.1279€ - Ryzen AI Max 385 (8C 8050S) 32GB
1895€ - Ryzen AI Max+ 395 (16C 8060S) 64GB
2329€ - Ryzen AI Max+ 395 (16C 8060S) 128GBAz 1895 kimondottan jo ar erte, a 48GB VRAM eleg a 70/72B Q4-nek is (40-42GB) es a sebesseg is kezdi a turheto hatart elerni alulrol (5-6 tok/s) ami speculativ decoding mellet akar 8-10 tok/s-re is feltornazhatja magat.
Ha valakinek szukos lenne megis az a 64GB/48GB konfiguracio akkor ott a 128GB, de a felara eleg nagy. Persze meg mindig kisebb mint egy Apple cuccnal.
Valamivel olcsobb mert hat Apple tax, ennek a 128GB konfig ara van ott ahol a Mac Mini M4 Pro 64GB van. Ebbol is inkabb a 64GB-nal van ertelme mert a nagyobb modelleknel ahol a 128GB RAM (96GB VRAM) kene ott nem kapsz normalis sebesseget a limitalt savszel miatt.Új hozzászólás Aktív témák
- MSI A78-G41 PC Mate (MS-7793) AMD FM2+ alaplap
- DDR5 G.SKILL Trident Z5 Neo RGB 6000MHz (AMD EXPO) 32GB - F5-6000J2836G16GX2-TZ5
- ROG STRIX Z790-A GAMING WIFI DDR5
- 32GB DDR5 RAM-ok tesztelve (vagy bontatlanul), garanciával, számlával (a Te nevedre kiállítva)!
- Corsair 32GB (2x16GB) KIT DDR4 3600MHz CL18 VENGEANCE RGB PRO SL White - 1 év bolti garival! -
- HIBÁTLAN iPhone 15 Pro 128GB Black Titanium -1 ÉV GARANCIA - Kártyafüggetlen, MS3870, 100% Akksi
- HIBÁTLAN iPhone 13 mini 128GB Pink -1 ÉV GARANCIA - Kártyafüggetlen, MS3840, 100% Akksi
- Canon 1100D + 18-55 3,5-5,6 IS II digitális fényképezőgép
- BESZÁMÍTÁS! Asus H370 i5 9600K 16GB DDR4 512B SSD RTX 2060 Super 8GB Chieftec HC-10B-OP Zalman 850W
- Apple iPhone 13 Pro Max Sierra Blue ProMotion 120 Hz, Pro kamerák 128 GB Használt, szép,100%
Állásajánlatok
Cég: ATW Internet Kft.
Város: Budapest
Cég: BroadBit Hungary Kft.
Város: Budakeszi