Dollár-százmilliárdokat költ az NVIDIA amerikai chipekre

LOGOUT témák

PROHARDVER! témák

Mobilarena témák

IT café témák

GAMEPOD témák

Új hozzászólás Aktív témák

#5 ddekany nagyúr azbest #4

Új Válasz 2025-03-23 17:33:00 #5
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

ddekany

nagyúr

válasz azbest #4 üzenetére

Ez a "csak statisztika" dolog nem sokat jelent. Mert ez a szokásos jelenség, hogy egyszerű alapműveletekből fel lehet építeni valami komplexet, amit már nem sok ember ért (jelen esetben senki sem), és valami olyat csinál, amire majom agyunk sosem számított volna. Ha jobban meg tudnánk nézni a saját gondolkodásunk működését, valószínűleg ugyan így járnánk azzal is.
A kicsi és nagy közötti eltérés meg a gyakorlatban nem az a pár %, amit a szintetikus tesztek mutatnak. Ha arra céloztál. Adott nehézségű feladatot a nagy modellek szinte mindig megoldanak, a kicsik meg szinte soha. Ez erősen kihat a hasznosságukra.
#4 azbest félisten ddekany #3

Új Válasz 2025-03-23 17:10:11 #4
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

azbest

félisten

válasz ddekany #3 üzenetére

" továbbra is a legtöbb célra használhatatlan tudásszintjük"
inkább abból ered a használhatatlanság, hogy sokan azt hiszik, hogy majd mindent megold, de nem értik, hogy az llm az azt jelenti, hogy szavakat generál egymás után, aszerint, hogy mit mond a statisztika odaillőnek. A gondolkodó llm meg csak előre létrehoz egy kontextust hasonlóképpen.
A kisebb disstilled is arra jó, mint a nagy méretű, csak pár százalék pontatlanságért cserében elfut kis hardveren is.
Me az nem mindegy, hogy egy-két ember kérdéseit kell egyszerre kiszolgálni vagy sokakét, mert a kis gpu-kon egy-egy kérés is bőven elég egyszerre.
#3 ddekany nagyúr azbest #2

Új Válasz 2025-03-23 17:03:50 #3
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

ddekany

nagyúr

válasz azbest #2 üzenetére

A DeepSeek R1 nem fut el csak soktízmilliós AI-os célhardveren (pl. 6db H100). A "distilled" változatoknak meg nem sok közük van hozzá. Vagy ha azokat is nézzük, akkor a Google féle Gemma 3 is világégés, meg a kismillió másik kis model is. Ezek a pici modellek hiába verik le a pár évvel ezelőtti nagyokat tudásban, továbbra is a legtöbb célra használhatatlan tudásszintjük, és inkább előfizetsz egy nagyobbra (és aztán rájössz, hogy még az is túl sokat hallucinál).
A betanítás meg... A sajtó összevetette a GPT-4 teljes betanításával, amibe benne van a base model elkészítése, ami messze a leg hardverzabálóbb szakasz, meg az RLFH is, amihez meg embereket kell fizetni. Ellenben az R1 betanítása egy azok utáni plusz automatizált RL, mivel a korábbi szakszok már megvoltak (DeepSeek V3 és elődjei). o3-nél vagy Calude 3.7 extended thinking esetén mennyibe került csak az a szakasz? Ha egyáltalán találni érdemi megfeleltetést. Még a kérdést se tudnák feltenni persze, fogalmuk sincs miről írnak.
#2 azbest félisten ddekany #1

Új Válasz 2025-03-23 13:58:21 #2
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

azbest

félisten

válasz ddekany #1 üzenetére

Sokféle model elfut kisebb gépeken, szerevereken, cpu-kon is. A tanítás viszont nagyon erőforrásigényes. A deeseek esetén is az, csak valamivel jobban optimalizálták, mint a nyugati modellek tanítását.
#1 ddekany nagyúr

Új Válasz 2025-03-21 13:18:03 #1
Új hozzászólás
Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
Privát üzenet küldése

ddekany

nagyúr

"hatalmas a kereslet az NVIDIA drága AI-chipjeire, a DeepSeek előretörése ellenére is"

Meglepő, hiszen a DeepSeek-et az nem ugyanúgy nVidia H-akárhányakon futtatják, mint bármi mást nagy AI modelt. Ja, tudom, a azt mondták az Origón, hogy random gizi netbookján is fut, bocs...