Új hozzászólás Aktív témák

• #60 ddekany veterán opr #58

  Új Válasz 2024-09-25 01:05:56 #60

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  veterán

  válasz opr #58 üzenetére

  Amúgy a gyakorlatban szélesebb körben hasznos LLM-hez persze ki tudja mi fog kelleni. Mixtral 8x7B, amennyire YT-n láttam, viszonylag gyorsan fut M3-on (ami bizonyosan gyorsabb mint ez). De mint ismeretes, kell még legalább +1 réteg a mostani tipikus LLM működés főlé, mert így csak első megérzésre kiönti ami jön. Erre a következő lépésre a saját próbálkozását nemrég preview állapotban elérhetővé is tett már az OpenAI, "o1" néven. Lényegében, minden válasz előtt magában (felhasználóként nem láthatod) legenerál sok-sok szöveget, kb. meggondolja mielőtt megszólalna. Az ilyesmit kivárni már kínos lenne helyben futtatva. Másfelöl, az adott tudású "sima" chat jellegű rész meg gyorsul és tömörödik továbbra is.

  AI-t kitanulni... Ez tippre annál is gyorsabban fog változni, mint amit IT-ben eddig megszoktunk. Pláne ha mélyebben is bele tudják egy ponton vonni az AI-t a saját fejlesztésére (most a betanításba van bevonva, de pl. nem tervezi át saját architektúráját).

Új hozzászólás Aktív témák