Új hozzászólás Aktív témák
-
ddekany
nagyúr
válasz
Mp3Pintyo
#12
üzenetére
Túl könnyű feladatok. De ha már YouTube, kivárom mit mond az AI Explained. (Ha magyar nyelvű csatornákra szűkítesz, eleve a választék valami töredék ezrelékéből választasz, ami furcsa.)
Amúgy meg mostani AI-oknál nagyon számít, hogy mire használod, mivel mind eléggé korlátos. Ha pl. azt látjuk, hogy Cursor-ban ezt használják R1 vagy Calude helyett, munkára(!), na az valami. Főleg ha agent módban nem vérzik el, az nagyon meglepő lenne.
-
ddekany
nagyúr
Na várjunk... DeepSeek-nél a nagyobb context window lehet, hogy nem is ad hozzá sokat VRAM igényhez, a KV cache-el kapcsolatos újításuk miatt. A tipikus "distilled" modelleknél (amik inkább meglévők fine tuning-ai) ez az újítás értelemszerűen nincs. A Unsloth félére már viszont vonatkozik (feltételezem), szóval akkor lehet, hogy tudsz jó nagy context lenght-et beállítani.
-
ddekany
nagyúr
Na ja, csak ez a sokkal olcsóbb memória sokkal lassabb is. A H100 meg MI300 ára persze azért is elmebeteg, mert alkalmasak arra, hogy rakás klienst kiszolgálj velük, azaz azok "ipari" termelőeszközök, amiknek mindig is magas volt az ára, az átlagember otthonra szánt cuccaihoz képest.
Valójában az lenne a jó üzlet nekünk, ha az nVidia nem szívózna azzal, hogy kevés VRAM-ot rak a halandóknak szánt videókártyáira, de hát ugye nem ettek meszet. (Persze aztán majd még jöhet a Digits és társai.)
-
ddekany
nagyúr
QwQ-32B az nagyon új fejlemény (bár előzetes már volt pár hónapja), és meglepne, ha a gyakorlatban is megütné azt a szintet mint az R1. Másfelől viszont, azt simán elhinném, hogy 1-2 éven belül egy 32B-s model tudni fogja aszt, amit most egy ~671B-s... és ahhoz képest nem totál lehetetlen, hogy ez már most van.
-
S_x96x_S
addikt
Akit érdekel a helyi LLM modellek futtatása
--> https://prohardver.hu/tema/ai_mi_mesterseges_inteligencia_topik/friss.html------
https://x.com/alexocheema/status/1897349404522078261
""
NVIDIA H100: 80GB @ 3TB/s, $25,000, $312.50 per GB
AMD MI300X: 192GB @ 5.3TB/s, $20,000, $104.17 per GB
Apple M2 Ultra: 192GB @ 800GB/s, $5,000, $26.04 per GB
Apple M3 Ultra: 512GB @ 800GB/s, $9,500, $18.55 per GB
""
"""
NVIDIA H100 (80GB): $8.33 per GB/s
AMD MI300X (192GB): $3.77 per GB/s
Apple M2 Ultra (192GB): $6.25 per GB/s
Apple M3 Ultra (512GB): $11.87 per GB/s
"" -
Mp3Pintyo
senior tag
QwQ-32B ami a tesztek szerint hozza az R1 szintjét nálam az otthoni gépen 25 token/sec és megoldotta a feladatot kb 4 perc alatt. (Nvidia 3090)
A vicc az, hogy már a 20. másodperc környékén is megválaszolta de olyan sokszor ellenőrízte újra és újra magát mnden egyes lehetőséget figyelembe véve, hogy végül 4 percig tartott. -
-
ddekany
nagyúr
DeepSeek R1 esetén, ami rengeteg tétovázós kimenetet generál, 2K nagyon kevésnek tűnik. Persze feladat függő, de azt mondanám, az szinte mindenre kevés. 16K körül meg már felfut 500GB-re VRAM igény. Meg persze ez, amivel kalkulálsz, eleve egy erősen összenyomott változat, és bár a készítők azt állítják, hogy szinte észrevehetetlen a különbség, én nem lennék optimista... a rendes R1-nek is még van mit fejlődnie megbízhatóság terén.
-
Mp3Pintyo
senior tag
Apple M3 Ultra chip 32 magos CPU‑val, 80 magos GPU‑val és 32 magos Neural Engine‑nel
512 GB egyesített memória
4 749 990 FtNem hangzik rosszul...
Az a memória már elég egy Unsloth's DeepSeek-R1 1.58-bit modellhez. (bár ez nem annyira jó minőségű)
Az Unsloth 2,51 bites dinamikus kvantálása állítólag szinte megkülönböztethetetlen a teljes modelltől. De akkor legalább ~ 150 GB RAM-ot ajánlott összesen. Az pedig bőven jó
Új hozzászólás Aktív témák
- GTA VI
- NVIDIA GeForce RTX 3080 / 3090 / Ti (GA102)
- NVIDIA GeForce RTX 4080 /4080S / 4090 (AD103 / 102)
- Hardcore café
- Xbox tulajok OFF topicja
- Motorola Edge 50 Ultra - szépen kifaragták
- Luck Dragon: Alza kuponok – aktuális kedvezmények, tippek és tapasztalatok (külön igényre)
- Samsung Galaxy A56 - megbízható középszerűség
- Spórolós topik
- Kerékpárosok, bringások ide!
- További aktív témák...
- Ryzen 5 7500X3D +hűtött VRM-es B650M lap +16-32GB DDR5 RAM! GAR/SZÁMLA (a Te nevedre kiállítva)!
- IZOMKOCKA - HP Z2 Mini G9 - i7 14700 - 32GB - 512GB nvme - Nvidia T1000 8GB
- Eladó Gamer PC: i5-12400F Intel Arc B580 12GB 24GB RAM SSD Dobozos!
- Ár-érték bajnok pc 5070/7600x16gb DDR 5 Minden új bontatlan!
- Intel passzív csúcsgép: 4,7 GHz Intel i7 1255U, 10 mag / 12 szál barebone
- iPhone 16 Pro 128GB Desert Titanium -1 ÉV GARANCIA - Kártyafüggetlen
- Apple iPhone 13 128GB, Kártyafüggetlen, 1 Év Garanciával
- ÁRGARANCIA!Épített KomPhone i5 14600KF 32/64GB RAM RTX 5070 12GB GAMER PC termékbeszámítással
- ÁRGARANCIA!Épített KomPhone i5 12400F 16/32/64GB RAM RTX 5060 Ti 16GB GAMER PC termékbeszámítással
- REFURBISHED és ÚJ - Lenovo ThinkPad Ultra Docking Station (40AJ)
Állásajánlatok
Cég: Laptopszaki Kft.
Város: Budapest
Cég: PCMENTOR SZERVIZ KFT.
Város: Budapest