Új hozzászólás Aktív témák
-
DarkByte
addikt
Javaslom megnézni Andrej Karpathy unikumnak számító 3,5 órás videóját arról hogy mi is az az LLM, hogyan tanítják be őket, milyen korlátjaik vannak. [link]
Nagyon jól felépített, többször összegez, jól követhető, igyekszik közérthető módon fogalmazni.Kb. a legjobb összefoglalója annak hol tart most ez a történet, lehozza a földre a misztikum világából. Plusz segít elhelyezni hogy önmagában, kiegészítő eszközök nélkül egyetlen LLM sem több egy hallucináló internetes dokumentum szimulátornál, ami nyers formában kb. a statisztika és a véletlen kettőse mentén esetlegesen ad csak tényszerű kimenetet.
Viszont ha odaadod neki a kontextusába az ellenőrzött tényeket (vagy felokosítod hogy igénybe vehessen külső eszközöket, pl. web search hogy ezt maga elvégezhesse), arra marha jó hogy ennek elkészítse egy emberileg olvasmányos szöveges kimenetét, tkp. mint egy nagyon kifinomult autocomplete. (hozzáteszem itt is csak annyira jó mint amennyire a kontextusba kerülő forrás, szóval ha az alatta lévő web search egy troll Reddit posztot talál meg a kérdésre hogy minden nap meg kell enni egy kis követ, azt következetesen bemásolja)
Egy nagyon érdekes képződmény az LLM, aminek vannak meglepő tulajdonságai, de az hogy hogyan tudjuk megbízható eszközként bevetni dologokban az ugyanolyan fiatal probléma.
Szerintem csak szimplán nem kell felülni a hype vonatra, de ennek ellenére azt mondom teljesen figyelmen kívül hagyni sem jó ötlet.
-
etomcat
tag
Ezeknek a letölthető LLM modelleknek mi értelme? Elsőre mindig azt kérdezem tőlük, ki most az USA elnöke és mind azt mondja, hogy a betanításakor, 2023. áprilisában Joe Biden. Szóval az elmúlt két évről nem tudnak semmit - kvázi Robinsonok, akik visszajöttek egy lakatlan szigetről. Mind nyomja az optimista süket dumát, mert nem tudnak semmit az azóta elközelgő világvégéről, szingularitásról vagy akármiről!
Hogy lehet értelmesen beszélgetni azzal, aki nem tudja, hogy:
- Világszerte végbement-végbemegy egy populista-fasiszta fordulat, ami elkerülhetetlenül 3. vh-hoz fog vezetni, mivel hülye vezetők csak tönkretenni tudják az országaikat és azt csak háború indításával tudják leplezni
- Trump lett az USA báb elnöke és épp eladja Ukrajnát, meg vele Európát az oroszoknak
- Elon Musk átállt a demokratáktól a republikánusokhoz, átvette az USA árnyék-elnöki posztját és rohamtempóban bontja el az országot.
- Az USA legfelsőbb bírósága már tavaly eltörölte az abortusz jogot és az LGBTQPRA... kisebbségek jogfosztása épp folyamatban van
- Ruanda újra népirtással foglalkozik és ez senkit sem zavar
- Gázát a földig lerombolták, 60 ezer halottat már eltemettek, 70 ezer még a romok alatt van, lakosságát hamarosan deportálják
- A 2024. évi párizsi olimpia megnyitóját szabadkőműves feketemisévé változtatták
- Visszafordult a zöld / elektromos átállás, minden ország újra a benzinmotoros / olajfúrótornyos témát tolja, ha megsül tőle a Föld, akkor is.Tulajdonképpen a saját fejlődésükről sem tudnak semmit ezek a modellek - hiszen az elmúlt két évben robbanásszerű volt a változás a GenAI / LLM világban, pl. a legújabb kínai csoda hatékony modell egy hónapos sincsen. Gyakorlatilag egy neandervölgyivel beszélgethetek, aki nem tudja, hogy időközben feltalálták a kereket és tranzisztort.
-
DigitXT
félisten
ChatGPT egész jókat írt egy hirtelen feltett automata szívatós kérdésre.
Mondom, akkor tudná ezt illusztrálni egy ábrával? Hát behaluzott egyet:
Persze tök vicces, hogy tud így spontán rajzolni magától, csak nem sok
köze van a valósághoz. Inkább steampunk. Tud ilyet a három testőr?
-
Mert az online ChatGPT az egy teljes modell, ami iszonyat számítási kapacitást igényel, mert több száz vagy ezer gigabájtos. Míg én a DeepSeek legbutább disztillált változatát futtattam, amit még egy Rasberry Pi is képes használható sebességgel futtatni, mert mindösszesen kb 1.1 GB az egész.
-
DigitXT
félisten
Nade ehhez a válaszhoz nem is lokálisan fut egy zanzásított modellen.
Amúgy megkérdeztem a ChatGPT-t, hogy lefordítja-e angolra a kérdésem
s utána válaszol, azt mondta, hogy nem, alapból magyarul "gondolkodik".
Persze, ha kifejezetten kérem, akkor lefordítja. Amúgy 50 nyelven "beszél".
Meglepően értelmesen, csak néha olyanokat haluzik, hogy fájdalmas...
(Nem lenne ezzel baj, ha nem biztos tudásként akarná bemondani, aztán,
amikor kijavítom, hogy ez nem egészen úgy van, akkor elnézést kér, újabb
hasra ütött infót talál ki. Egész addig, amíg a helyes infót meg nem kapja:
konkrétan megkérdeztem, hogy most csak találgat? De állítja, hogy nem.)De amúgy ha "tudja" miről beszél, egész jól tud érvelni is pro/kontra stb.
-
-
Robitrix
senior tag
Ehhez képest a ChatGPT jóval értelmesebb választ ad az amúgy értelmetlen kérdésre.
Ime és még a magyarja is tökéletes,,,,,
Ez egy klasszikus trükkös kérdés! Ha nincs más információ, akkor nem lehet biztosan megválaszolni. Viszont ha a kérdés egy olyan rejtvényre utal, ahol valamilyen módon el van rejtve a válasz (például a kérdésben szereplő számokból kikövetkeztethető), akkor érdemes átgondolni a megfogalmazást.
Ha például azt mondják:
"Egy hajón 36 láda van, hány éves a kapitány?"
— Akkor nincs egyértelmű válasz, mert a ládák száma nem feltétlenül kapcsolódik a kapitány életkorához.
De ha a kérdés egy olyan változata hangzik el, ahol például azt mondják:
"Egy hajón 45 ember van, és a kapitány életkora megegyezik az emberek számával."
— Akkor a válasz 45 év.
Van valamilyen kontextus, ami alapján pontosabban lehet válaszolni? 😊 -
#51
Geri Bátyó
addikt
lezso6
#49
-
#49
lezso6
HÁZIGAZDA
Geri Bátyó
#48
válasz
Geri Bátyó
#48
üzenetére
De azokban nincs IGP. Ebben újítana a Strix Halo. Eddig legfeljebb valami AMD Instinct cuccot vehettél elképzelhetetlenül horror áron, de azok is megállnak asszem 128GB-nál.
-
#48
Geri Bátyó
addikt
lezso6
#47
-
#46
Geri Bátyó
addikt
lezso6
#44
-
#44
lezso6
HÁZIGAZDA
Geri Bátyó
#43
válasz
Geri Bátyó
#43
üzenetére
Háló-háló! AMD Strix Halo!
-
#43
Geri Bátyó
addikt
lezso6
#8
Viszont itt lenne a lehetőség egy tényleges HEDT platformot kihozni (A Threadripper már rég nem az), aminek nem fél alaplapnyi a foglalata. A 4 csatornás memória pont jó lenne, de mondjuk min. 6600-as DDR5 támogatással, 256 GB-ig. Mehetne bele az izmos IGP-vel 8-16 mag, IGP nélkül 8-32. A TDP meg mondjuk 120-250W.
-
TeeBee73
veterán
-
Raymond
titán
Na ja, de nem az volt tole konkretan kerdezve, csak annyit kertem hogy irjon egy tortenetet amiben ezek a szavak fel vannak hasznalva. Az hogy mit jelentenek a szavak arra ezt irja (ugyanazt a chat-et folytatva):
A "csellenyűcske" nem létező madár vagy lény a magyar folklórban. A történetben kitalált szó, hogy varázslatos és csodálatos hangulatot teremtsen.
A szó részei utalnak a jelentésére:
A "csellen" gyors, fürge mozgást sugall, mintha egy kis madár cikázna.
A "tyűcske" kicsinyítőképző, ami apró és kedves lényre utal.
Tehát a "csellenyűcske" egy apró, mozgékony teremtmény benyomását kelti, tele bájjal és misztikummal. Kitalált, hogy fantáziát ragadjon magával az olvasót.Az "uldaba" egy fiktív hangszer a történetben. Nincs valóságalapja, hanem arra lett kitalálva, hogy misztikus és ősi hangulatot teremtsen.
A név önmagában is rejtélyesnek tűnik, talán egy régimódi, elfeledett szónak hangzik. A történetben az "uldaba" egy faragott sípként van leírva, ami generációkon keresztül öröklődött, és mágikus tulajdonságokkal rendelkezik.
A célom az volt, hogy egy olyan hangszerrel ruházam fel Anyát, amely nemcsak hangot ad ki, hanem egyfajta kapcsolatot teremt a múlt és a jelen, a valóság és a fantázia között. -
DigitXT
félisten
-
Raymond
titán
Megkerdezni meg lehet midnent aztan a valasz olyan lesz amilyen, de az ilyen "creative writing" dolgokkal nincs tapasztalatom foleg nem magyarral, en csak angolul beszelek ezekkel es es szinte csak kodolas vagy mas IT dolgok.
De kiprobalaskent itt a Gemma2 27B mit dobott ki:
System prompt:
You are an expert Hungarian novelist famous for his comedic writing. Only answer in Hungarian.Prompt:
create a short story involving the words "uldaba" and "csellentyűcske"Valasz:
Anya apró ujjaival szorongatta az uldabát, a faragott fa sípot, amelyet dédnagymamája hagyott rá. A házikó udvarán ült, a napfény játszott a lombok között. Anya még sosem fújt bele, félt tőle, hogy elrontja a hangját, a benne rejlő varázslatot.Anya édesanyja mesélte, hogy az uldaba hangja elhívhatja a csellenyűcskét, egy apró, kék tollú madarat, amely szerencsét hoz. Anya mindig is szerette volna látni azt a csodálatos lényt, és ma végre bátorságot gyűjtött.
Anya ajkára szorította az uldabát, behunyta a szemét, és fújni kezdett. A hang halkan kezddtt, majd egyre erősebb lett, mint a szél susogása a lombok között. Anya várt, figyelt, de nem látott semmit.Egy pillanatig csalódottnak érezte magát, aztán észrevette, hogy körülötte a levelek táncolni kezdenek. A napfényben csillogva egy apró kék tollacska lebegve hullott le a fűre. Anya mosolygott. Tudta, hogy a csellenyűcske ott van valahol, és örökre emlékezni fog erre a napra.
Szoval nem egy fonyeremeny.
-
DigitXT
félisten
Linkelt lezso korábban olyan képet, kifejezetten szórakoztató volt olvasni, egész emberi, ellenberger amit itt előadott az leginkább az elektromos csellentyűcskére emlékeztet.
Tényleg, azt meg lehet kérdezni tőle, hogy mi az az uldaba? Ha már csellentyűcske. Bár, arról meg az a hír járja, hogy valójában csak hoax, mármint kabaréhoz készült mű írás... -
Raymond
titán
Ott van a tobbi is, de te korulbelul csak a lila(?) kiemelteket nezed:
ird be a keresobe a komplett nevet es akkor jobban filterez, peldaul:
deepseek r1 distill qwen 14b
Ugyis az az egyetlen amit meg Q4_K_M (9GB meret) futtatni tudsz a 16GB kartyan a masik ket emlitetten kivul.
-
Raymond
titán
Csak a layer-ek egy reszet rakja a VRAM-ba (a felvazolt esetben konkretan kb. a felet), a tobbi a RAM-ban van, gyakorlatilag az fogja limitalni a sebesseget, alig gyorsabb igy mint csak RAM-bol. Ekkora mereteknel inkabb csak kiprobalasra jo, gyakorlatilag hasznalhatatlan. A VRAM meretein belul kell maradni es akkor nincs szenvedes.
-
Ha nem fér bele a VRAM-ba a modell, akkor a CPU-n futtatja, de próbál offloadolni GPU-ra. Ennek hatékonyságát nem mértem még le, de valószínűleg kb nullát ér, legalábbis a 70B modellt futtatva a GPU-t csak néha-néha terhelgetni.
Nálam van még egy RTX A2000 Ada 8 GB, ami gyakorlatilag az RTX 4060 profi változata laptopba, 35 wattból. Szóval nem valami erős.
A 8B modell ennek már belefér a memóriájába, így CPU-hoz képest kb 3x gyorsabb, azaz 30-32 token/sec a sebesség. -
-
DarkByte
addikt
Imádom ahogy angolul gondolkodik belül, de magyarul válaszol
Most hirtelen nem találom a cikket, de valamelyik ilyen CoT modellnél olyat is megfigyeltek már, hogy bizonyos porbléma területeket nem is angolul gondol végig. Nem tudom a Deepseek mutatott-e már ilyet. Nesze neked AI security, ezt ellenőrizd hogy nincs-e hátsó szándéka -
Futtatható CPU-n is. Nálam laptopon 7940HS (~30-40 watt TDP) 64 GB DDR5-5600 RAM-mal a DeepSeek R1 70B modellt (~43 GB) futtatva Ollama-val tud kb 1.2 token/sec sebességet. Ez elég lassú, kb 5-10 perc/prompt, de működik. Pl ez 15 perc alatt sikerült.
Amúgy itt vannak az Ollama által támogatott GPU-k. Bárki kipróbálhatja.
szerk: DeepSeek R1 8B modell (~5GB) már 10 token/sec, az már kb elmegy sebesség.
-
DarkByte
addikt
Talán majd ilyen Nvidia DIGITS szerű mini PC szerűség lesz belőle gondolom.
Mod: úgy tűnik ASUS-éknál kotyvasztanak is ilyesmit. [link] illetve a GMK-ék is fognak ilyet csinálni. [link]Mindenesetre nem volna rossz ha ezekhez a unified memory rendszerekhez is létezne majd idővel cserélhető RAM modul. Bár kevés esélyét látom. Túl szorosan van integrálva a SoC-hoz.
-
Raymond
titán
Eloszor kellenek a Strix Halo-ra alapulo termekek, merrt egyelore az Asus Flow 13 van amibol a 32GB valtozat $2200. A HP workstation szinten nem lesz egy arbajnok merthat "workstation", itt a Beelink es tarsainak kell felmutatni valamit 64GB es vagy 128GB konfiguracioban normalis aron. A 32GB a regi es uj 128bit bus cuccokbol is 800-900eur korul vannak, de igy meg mindig van esely 64-128 valtozatokra normalisabb aron. meg tavaly mondta valamelyik handheld gyarto hogy nem konnyu mert nem eppen olcson meri ezeket az AMD es ha mar a 32GB draga akkor a tobbi is huzos lesz.
-
Jó lenne ha ez versenyt generálna.
![;]](http://cdn.rios.hu/dl/s/v1.gif)
Új hozzászólás Aktív témák
- 12.000 ft tól elvihető ELITRO Bankmentes , kamatmentes vásárlás .Cooler Master GM2711S Monitor
- BESZÁMÍTÁS! MSI Z370 i5 9500 16GB DDR4 512GB SSD RX6600 8GB Cooler Master MB510L Chieftec 500W
- Telefon felvásárlás!! iPhone 11/iPhone 11 Pro/iPhone 11 Pro Max
- Targus Universal USB 3.0 DV1K-2K Compact docking station (DisplayLink)
- Azonnali készpénzes AMD Radeon RX 6000 sorozat videokártya felvásárlás személyesen/csomagküldéssel
Állásajánlatok
Cég: CAMERA-PRO Hungary Kft
Város: Budapest
Cég: Liszt Ferenc Zeneművészeti Egyetem
Város: Budapest