Keresés: - Minimum 16 GB-ot vár az AI PC-kbe a Microsoft

LOGOUT témák

PROHARDVER! témák

Mobilarena témák

IT café témák

GAMEPOD témák

Keresés

Új hozzászólás Aktív témák

#67 LordX veterán Reggie0 #66

Új Válasz 2024-02-03 08:56:11 #67
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

LordX

veterán

válasz Reggie0 #66 üzenetére

Hát nem. Konkrétan én implementáltam ezt a TFLite-ba, olyan 3 éve.
#65 LordX veterán ddekany #61

Új Válasz 2024-02-02 07:08:09 #65
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

LordX

veterán

válasz ddekany #61 üzenetére

Memóriáról beszéltünk, a modell meg az összes futási idejű adat nem fog több vagy kevesebb memóriát foglalni attól, hogy CPUn, GPUn, vagy TPUn tolod a számítást.
#60 LordX veterán moleculez #58

Új Válasz 2024-01-25 03:14:42 #60
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

LordX

veterán

válasz moleculez #58 üzenetére

Google telefonon tolja as of today 12 GB RAM-al egy indasztri szerint gyenge procival: [link] Azért csak menni fog másnak is desktopon egy hasonlóan "butitott" LLM..
#59 LordX veterán ddekany #57

Új Válasz 2024-01-25 02:59:41 #59
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

LordX

veterán

válasz ddekany #57 üzenetére

Van olyan, hogy batching, nem kell ezt csinálni tokenenként. Hogy mennyit tudsz összerakni egyszerre, kb. csak a xPUd sebességétől függ.
(Autoregressziv, persze, de van jóóóópár papir arról, hogyan lehet ezt megoldani.)
#56 LordX veterán ddekany #55

Új Válasz 2024-01-24 05:40:26 #56
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

LordX

veterán

válasz ddekany #55 üzenetére

16 GB bőven elég ha a háttértárad elég gyors, hogy betöltse a következő rétegek súlyait miközben az első rétegek mátrixait szorozgatja a CPU, GPU, AI gyorsitó stb. A GPT3 rétegei kb. 1.8 B paraméter per réteg (sőt.. ez csak 1 transformer, ami önmagában több matmul), szóval 8 GB RAM is bőven elég.
Ha meg dedikált GPU-n számolod, amiben van DirectStorage, akkor meg konkrétan nulla főmemória kell a gépebe hozzá.