Új hozzászólás Aktív témák
-
Jaffafa
aktív tag
Backup-ra sokféle koncepció van. A nagyobb cégek nyilván több fizikailag elkülönített helységekben,(vagy pl. ahogy nálunk van akár egymástól több (tíz vagy száz) km-re lévö adatközpontokban) tárolják mind a szervereket és az adatokat. Ezekben az adatközpontokban van hütés is, mert ha több száz szerver van egy teremben, azzal elég jól lehet füteni
A backup éppúgy lehet lokális, vagy éppen több adatközpontba replikált. Csak pénz kérdése a dolog
Jellemzöen a kritikus alkalmazások (pl. egy mobilszolgáltató, vagy egy banki alkalmazás) eleve úgy vannak felépítve, hogy a hardver két különbözö adatközpontban van és a hozzá tartozó storage is. Az adatokat pedig vagy a host, vagy a storage replikálja a két adatközpont közt. Már eleve ezt is nevezhetnénk egyfajta "backup"-nak, de valójában ez csak a rendelkezésre állási idöt növeli. Tehát ha le is áll egy adatközpont (tüz, természeti katasztrófa etc.), attól még az alkalmazás tovább futhat. De nyilván ez nem tekinthetö valódi backupnak, ezért erröl készül még egy biztonsági másolat, amit jellemzöen egy szoftver végez és adatokat merevlemezre, vagy szalagra menti le, akár több adatközpontban is. -
rudi
nagyúr
Maradjunk SATA volnalon és nemenjünk a gyorsabb, de jóval drágább SAS meghajtókhoz, és számoljunk RAID6 tömbbel. A korábbi példámban 480 TB-ról le tudtuk faragni az nettó tárkapacitást 24 TB-ra. A 24 TB-os tárkapacitáshoz RAID6 alapon elég nekünk 6 darab, fejenként 6 TB-os, vagy 5 darab, fejenként 8 TB-os merevlemez, amivel akkor is jók vagyunk, ha valami oknál fogva egyszerre kettő kihal.
Ha nem csúcs adatcenter, de nem is szittya mezei merevlemezben gondolkodsz, akkor a WD Red Pro széria környékén illik nézelődnöd, ott a 6 TB-os 90 000 forint körül fogható, a 8 TB-os jóval drágábbb, valami 140 000 forint. Summázva 6 x 90k = 540k forint merevlemezre.
Ennyi merevlemez alá elég egy kis/középvállalati NAS, valami a QNAP TS-653A-tól fölfelé, legalábbis én ott nézelődnék. A QNAP TS-563 már 10 Gbps-os Ethernetet is tud, a TVS-882 meg már Core i3-as, a 6 merevlemez mellé van két 2,5"-os SSD foglalata és M.2-es SSD-ket is lehet beletenni gyorsítótárnak, virtualizációhoz meg mindenhez elég erős, de talán már sok is. Az első két NAS olyan 250 000 forint körül van, a harmadik viszont már közel egymillió forint, itt már nálam jobban képben kell lenni, hogy a rendszermérnök ne költtessen el több mint félmilliót olyanra, amit nem használnak ki.
A végösszeg tehát valahol 800 000 forintnál indulna (kellhet legalább egy tartalék HDD esetleg) abban az esetben ha optimalizáltan 24 TB-ban gondolkodunk.
Ha maradnánk 480 TB-on RAID6 tömbben, akkor 82 darab 6 TB-os merevlemez kellene, de ugyanúgy csak kettő darab meghibásodását bírnánk el adatvesztés nélkül, ez sokkal kellemetlenebb mint az előző példában, nem beszélve a merevlemezek 7,4 millió forintos áráról. Ráadásul ennyi merevlemezhez már valami rack szekrény kellene. A 2U magas fiókok max 12 HDD-t szoktak megenni, azokból kellene a NAS mellé hat darab. NAS szinten megint a QNAP TS-1263U környékéről lehetne indulni, az 500 000 forint körül van, mellé 6 drab kiegészítő fiók (nem tudom, hogy kezel-e annyit) lenne még egyszer annyi.
A végösszeg tehát a korábbi példámhoz, brute force alapon 8 millió fölötti lenne, ami egy nagyságrenddel az átgondolt tervezési ár fölött van. És hasonló mértékben magasabb lenne az üzemeltetési költség is.
Most szólok, mielőtt a témában nálam sokkal jobban jártas kommentelők szétszednének, hogy ezek csak amolyan becslések, egy lehet itt-ott sarkított példa a nagyüzemi adattárolás érdekességeinek megmutatásához.
-
rudi
nagyúr
Honnan jön ide az adatbázis? Szerintem nagyon elbeszélünk egymás mellett. Angol példát fordítsam le, nem jött át?
A Fujitsu és hasonló kaliberű vállalatok az otthoni júzertől a Google szintű mega tárhely igénylőkig mindenféle formátummal és felhasználással foglalkoznak, van 1-2 fiókos házi NAS-uk és van temérdek rack alakpú gépük, amiben akár Skylake alapú Xeon is dolgozhat, nem beszélve az olyanokról, ahol a tároló rackek szekrényét külön szerver "hajtja meg".
Rengetegféle adatstruktúra és tárolási stratégia létezik náluk, amiknek a megismerése és a megfelelő implementálása külön szakma. Mondok egy kiragadott példát, de nem azért hogy elkezdj a részleteibe beleturkálni, hanem hogy hátha megvilágosodsz belőle, milről lehet itt szó:
Legyen az az igény, hogy egy 20 tagú fejlesztőcsapat dolgozik ugyanazokon a terveken (ezek lehetnek 3d modellek, prezentációk, nagyfelbontású képek, akármik, ez lényegtelen) heti szinten 1 TB adatot generálva. És szeretnénk biztonságban tudni a gépeki fejenként 8 TB-os merevlemezét, illetve szeretnénk, ha az éppen aktuális verziókból kb. 1 TB adat minden csoporttag által a legkisebb késleltetéssel elérhetőek legyenek.
Mezei ember úgy állna neki a dolognak, hogy hozzunk össze egy tárolót, amire rá lehet menteni mind a 20 emberke 8 TB-os merevlemezéből a három legutóbbi teljes állapotot, ergo kell 20 x 8 x 3 = 480 TB. Meg kell valami 1 TB gyors online elérés is - nyilvános vagy privát felhőben. Végig tiszta tárhelyben gondolkodunk, ahol az adatbiztonságot RAID6 tömb oldja meg.
Kicsit okosabban már csak inkrementális mentést csinálnak minden júzernél, amihez erősebb hardver kell a NAS-ban, de nem kell háromszoros tárhely, mert mentésenéként a júzereknél kb. 1 TB a frissülő adat. Így az állás 20 x 8 x 1,2 = 192 TB meg az 1 TB felhős tár.
Rákapcsolva erre még a deduplikációt rájövünk, hogy a 20 fejlesztő ugyanazon az adattömegen dolgozik, ha Pista gépe bekakál, akkor lényegében Jóska mentéséből is újra tudjuk húzni az adatait. Kis analízis, kis elemzés és hopp máris nem kell 20 külön ember, hanem mondjuk csak 5 mentése 4:1 deduplikációs arány. Ergo tárhelyben 5 x 8 x 1,2 = 48 TB. Meg a felhős 1 TB.
Következő szintként elkezdhetjük elemezni, hogy a júzerek a 8 TB-ból mennyit használnak valójában. Ha kijön, hogy átlagban csak 4 TB-ot, akkor akkor felezhető a tárhely és csinálhatunk egy olyan storage poolt, amiben minden júzerre 4 TB-tal számolnak, de ha valaki túlmegy rajta, akkor dinamikusan kap teret más júzer nem használt helyéből. Az ilyen rednszerek tudnak jelezni, amikor fogy a valódi tárhely és kvázi pillanatok műve rájuk kapcsolni még egy csomó adattárat. Ergo 5 x 4 x 1,2 = 24 TB-nál tartunk. Meg az 1 TB felhő.
Bár a példámhoz nem igazán illik, inkább valami gyors, sok lekéréses adatbázishoz passzolna, de a felhős 1 TB helyett betehetünk a saját tárolónkba 2 TB-os SSD-t. Bedobva ezt a gyors táhelyet a storage poolba használhatjuk gyorsítótárnak a júzerek inkrementális mentési folyamataihoz. Sőt, lehet nem is kell majd használni, mert csinálható úgy, hogy amikor Jóska inkrementális mentését csináljuk, akkor összehasonlítjuk az 1 TB-os felhős adatcsomaggal a munkáját, és ami azonos verziójú, azt nem ráncigáljuk át a hálózaton, hanem szépen a sokkal gyorsabb storage poolban másolgatun, akár időben eltolva olyankorra, amikor kisebb a tároló terhelése.
És még ezer apró finomítás, amihez nekem nem elég mélyek az ismereteim
-
#06658560
törölt tag
A ppt-k jellemzően szintén nagyok, mert nem szöveget tartalmaznak és nem két slideosok. S szintén többen is szerkeszthetik.
Szóval miért éri meg a globális tárolás és a duplikációk kisöprése helyett lokálisan tárolni mindenkinek, majd mailen küldözgetni ész nélkül, a levelezési tárhelyet és egymás türelmét is emésztve?
-
#06658560
törölt tag
Mondok egy példát.
Ülésfejlesztés járműiparban. Van egy autó, mondjuk Ford Transit. Az összes változatában van 150 ülésvariáció. Ezekhez a csapatban van beszerző, sales, gyártásfolyamat tervező, prototípus koordinátor, FMEA koordinátor, programmanager, lead engineer, tervezőmérnök. Az összes ülésre többen vannak. A BOM Excelben van tárolva, képekkel minden alkatrészről, összeállításról. Ennyi üléshez van vagy tizenöt Excel file. Ezt módosítja gyakorlatilag mindenki, aki fenn fel lett sorolva. A file ugyan adatbázisban van, de ahhoz csak a mérnökök férnek hozzá. Ezért kell lokális másolat. E mellé vannak 3D pdf modellek minden ülésről, minden alkatrészről és részösszeállításról. Egy ülésben van vagy kétszáz ilyen. Plusz DFMEA és PFMEA exportok excelbe, PPAP, Control Plan, QOP, Cost break down, timing, Open Issues, stb. Na, szerinted mennyire jó ötlet mindent lokálisan tárolni, a helyett, hogy van egy elő dokumentum mindenből, mellette archív mappa, s ahhoz nyúl mindenki? -
rudi
nagyúr
Nyilván nem az ujjukból szopták ki a Fujitsunál, hogy a deduplikálással akár 5:1 tárhely megtakarítási arány is kihozható. Jaffafa esetében 10%-ot nyertek, de idézek innen akár 30:1 arányút is:
Deduplication domain: the wider the scope of the inspection and comparison process, the higher the likelihood of detecting duplicates. Local deduplication refers to the examination of redundancy at the local resource, while global deduplication refers to inspecting data across multiple sources to locate and eliminate duplicates. For example, a daily full backup of data changing at a rate of 1% or less that is retained for 30 backups has 99% of every backup duplicated. After 30 days, the ratio could reach 30:1. If, on the other hand, weekly backups were retained for a month, then the ratio would reach only 4:1.
Átlagos emberi halandó számára varázslatos dolgok vannak a "nagyipari" adattárolásban. Érdemes megnézni a pl. a storage poolokat vagy a slim/thick volume struktúrákat. Igyekszünk majd a QNAP blogban foglalkozni ezekkel a dolgokkal is.
-
#06658560
törölt tag
A másik pont, ahol elvérzik az érvelésed: hogy tartod szinkronban az elő dokumentumokat, ha millió helyen van tárolva egy példány belőle? Pláne, ha még dolgoznak is vele? Szerinted miért terjedt el, hogy hálózatra dolgozzanak az emberek, ha nagyobb cégnél ülnek és kell a csoportmunka?
-
Jaffafa
aktív tag
Na akkor a kedvedért lemegyek békába, mert még mindig hülyeségeket írsz...
1 PB tárhelyünk van jelenleg az egyik filer-ünkben. Ha csak 10%-ot takarítok a deduppal, akkor is 100TB-ot spóroltam (alsó hangon is 100TB = 100.000€-t), plusz 100TB-al kevesebbet kell backupolnom. Ha még mindig nem vágod, akkor nem velem van a baj. -
Jaffafa
aktív tag
Ehm, amit én írtam az a valóság. Nálunk pl. kb 8000 céges felhasználó van és mindnek van egy 20GB-os hálózati lemeze. Nyilván nem fog kijönni az 1:2 deduplikálás, de ha csak 15-20%-ot nyerek a dolgon már megérte. S akkor a mi cégünk még nem is olyan nagy, az anyacéghez képest, ahol további 190000 ember dolgozik szerte a világban ^^.
-
#06658560
törölt tag
Miért irreális? Nem csak öt fős kkv-k léteznek a világon.
"Ez egy irreális példa, ugye.
Ilyen esetben persze, szükséges lenne csökkenteni a többszörös másolatok számát; de ha néhány példány van csak valamiből vagy mondjuk egy kis fájl (mondjuk űrlap) sok embernél, azt nem kell redukálni és általában ez a helyzet, nem az a szélsőség, amit te vázoltál."Jól sejtem, hogy még véletlenül sem volt szerencséd belülről nagyvállalati rendszerhez?
-
Jaffafa
aktív tag
Nem érted. Tegyük fel, hogy van pl. 10.000 User és mindegyiknek van egy 20 GB-os saját hálózati tárhelye a cégben. Ez ugye nem sok. Namármost 10.000 x 20 GB az majd 200 TB adat. Ha a dedup "csak" 1:2 arány, akkor az alapból a fele. (Fentebb írtam, hogy mi mennyibe kerül, szal nem keveset spórolt a cég ezzel a funkcióval.) Erröl mindenképpen lesz egy backup, de nem mindegy, hogy 200 vagy 100 TB-ot kell backupolni.
(Hozzá kell tenni, hogy manapság már a jobb backupszoftverek is imerik a dedupot.)
Új hozzászólás Aktív témák
- Battlefield 6
- Székesfehérvár és környéke adok-veszek-beszélgetek
- Projektor topic
- Riasztó topik
- Sweet.tv - internetes TV
- Sony Xperia 1 V - kizárólag igényeseknek
- Megérkezett Magyarországra a Poco F8 Pro is
- Házi barkács, gányolás, tákolás, megdöbbentő gépek!
- OLED TV topic
- Vicces képek
- További aktív témák...
- ÚJ ASUS TUF AMD RYZEN 7 5800X GAMER ERŐMŰ PC 32Gb RAM 1.0TB SSD ÚJ RTX 3080 10GB DDR6 2ÉV GAR
- Felsőkategóriás Gamer PC-Számítógép! Csere-Beszámítás! R7 9800X3D / Nitro+ RX 9070XT/ 32GB DDR5
- HP EliteDesk 800 G3 TWR PC, i5-6500 CPU, 16 GB DDR4 RAM, Windows 11
- APC NetBotz Rack Monitor 200-6port - környezetfigyelő eszköz
- BONTATLAN Lenovo ThinkCentre M70s SFF Business Időtálló Asztali gép -50% i5-14500 16/512 770 Magyar
- Eladó igazi ritkaság! LG G7 Thinq 4/64GB / 12 hónap jótállással!
- Xiaomi Redmi 14C / 4/128GB / Kártyafüggetlen / 12Hó Garancia
- Azonnali készpénzes AMD Ryzen 1xxx 2xxx 3xxx 5xxx processzor felvásárlás személyesen / csomagküldés
- magyar billentyűzet - 123 - Lenovo Legion Pro 5 (16ARX8) - AMD Ryzen 7 7745HX, RTX 4070
- GeForce GTX 1650 SUPER (OEM HP) -
Állásajánlatok
Cég: ATW Internet Kft.
Város: Budapest
Cég: Laptopműhely Bt.
Város: Budapest