Keresés: - Minimum 16 GB-ot vár az AI PC-kbe a Microsoft

LOGOUT témák

PROHARDVER! témák

Mobilarena témák

IT café témák

GAMEPOD témák

Keresés

Új hozzászólás Aktív témák

#64 ddekany nagyúr LordX #59

Új Válasz 2024-01-25 08:40:10 #64
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

ddekany

nagyúr

válasz LordX #59 üzenetére

A következő token legeneráláshoz kell, hogy az előző már a kimenet végén legyen, szóval nem tudom miféle batch-eléssel úsznák meg, hogy az egész modelt be kelljen darabokban tölteni újra és újra a RAM-ba (mivel az egész egyben nem fér bele) tokenenként.
Persze az a mostani LLM-ek működési elvére vonatkozik, de az MS is nyilván csak azzal számol.
#61 ddekany nagyúr LordX #60

Új Válasz 2024-01-25 06:43:03 #61
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

ddekany

nagyúr

válasz LordX #60 üzenetére

A Gemini Nano modellek futnak rajta, amiből a nagyobb is csak 3,25 milliárd paraméteres, és nem arra vannak, hogy kötetlenül beszélgess velük, mint a ChatGPT-vel (amiből 4-es sokszáz milliárd paraméteres lehetett mikor kijött). Plusz nem kell tisztán CPU-n futnia, hiszen van NPU (TPU) abban a SoC-ban, meg persze GPU-is.
#57 ddekany nagyúr LordX #56

Új Válasz 2024-01-24 08:06:42 #57
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

ddekany

nagyúr

válasz LordX #56 üzenetére

Valóságban ez abszurdan lassú lenne, meg sokat fogyasztana, ha minden egyes token legenerálásánál ennyi adatot mozgatsz SSD-ről RAM-ba. Szóval erre tuti nem számol az MS.
#55 ddekany nagyúr

Új Válasz 2024-01-22 11:56:26 #55
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

ddekany

nagyúr

Ha valaki azt hitte volna helyben fog valami Bing Chat szerűséget (vagy inkább jobbat) futtatni... GPT-4 az sok száz GB lehet. Bár sokat fejlődtek a szükséges paraméterek számának csökkentése terén azóta, de azért a 16 GB az továbbra is bőven kevés ilyesmire, és persze még másnak is kéne RAM. Mondjuk az vicces lenne, hogy 128 GB RAM a követelmény (az már reális lehet), de ezt szinte mind a Copilot fogja.