Sudedamos duomenų sistemos: intelektualių duomenų valdymo sistemų ateitis

Įvairioje ir dinamiškoje technologijų aplinkoje, kaip įmonės gali sukurti protingesnį požiūrį į duomenų valdymą? Sukomponuojamos duomenų sistemos, pagrįstos atvirais standartais, gali būti kitas svarbus infrastruktūros modernizavimo dalykas.

Organizacijos ieško naujų būdų, kaip sukurti šiuolaikinius šiuolaikinius duomenų rinkinius, kurie tampa vis įvairesni. Naujausi tyrimai 105 bendrų Databricks Inc. ir Snowflake Inc. klientų, atliktas bendradarbiaujant su Enterprise Technology Research, atskleidė dvi pagrindines tendencijas. Daugiau nei trečdalis respondentų teigė, kad naudojasi bent viena papildoma modernia duomenų platforma, išskyrus Databricks ar Snowflake. Ir pusė teigia, kad ir toliau pasikliauja vietinėmis arba hibridinėmis debesų platformomis. Šios išvados pabrėžia kelių platformų metodų poreikį kuriant šiuolaikinį duomenų krūvą.

Didžiųjų duomenų sistemose paprastai jau yra saugojimo ir skaičiavimo sluoksniai, tačiau kai kurios įmonės toliau didina komponavimo galimybes, atskirdamos programų programavimo sąsajos sluoksnį. Joshas PattersonasVoltron Data Inc. vienas iš įkūrėjų ir vykdomasis pareigūnas.

„Komponuojamumas iš tikrųjų reiškia laisvę – laisvę paimti savo kodą ir paleisti jį daugybėje skirtingų variklių, bet taip pat, kad jūsų duomenys taip pat naudotų skirtingus variklius“, – pridūrė Pattersonas.

Pattersonas ir Rodrigo Aramburu„Voltron Data“ įkūrėjas ir vyriausiasis technologijų pareigūnas, kalbėjosi su „TheCUBE Research“. Robas Strechaypagrindinis analitikas ir Džordžas Gilbertasvyresnysis analitikas, „SiliconANGLE Media“ tiesioginės transliacijos studijos „TheCUBE“ segmente „AnalystANGLE“. Jie aptarė, kaip duomenų platformos pertvarkomos dėl vis didėjančio komponuojamų architektūrų, atvirų standartų ir pažangiausių vykdymo variklių.

Atvirieji standartai supaprastina sudaromas duomenų sistemas

Voltrono Joshas Pattersonas ir Rodrigo Aramburu kalbasi su CUBE apie tai, kaip komponuojamos architektūros, atvirieji standartai ir pažangiausi vykdymo varikliai keičia duomenų platformas.

Pasak Aramburu, net tokios įmonės kaip „Snowflake“ ir „Databricks“ vystosi link labiau sukomponuojamų, atvirų standartų. Pavyzdžiui, Databricks buvo ankstyvas atvirojo kodo Apache Arrow API, kaip de facto standarto lentelių duomenų vaizdavimui, evangelistas.

„Šis tikrai didelis judėjimas leidžia įmonėms, turinčioms visus šiuos pardavėjų produktus, pasirinkti tinkamus įrankius tinkamam darbui”, – sakė jis.

Pasak Aramburu, dėl šiandienos duomenų kraštovaizdžio sudėtingumo, kuriame gausu duomenų produktų ir programų, reikalingas labiau modulinis duomenų rinkinys. Siekdamos valdyti kelis variklius, daugelis įmonių organizacijoje sukūrė sunkiai prižiūrimus abstrakcijos sluoksnius su savo domeno kalbomis.

„Toks projektas, kaip Ibis, iš tikrųjų paima (sudėtingumą) iš nepriklausomos korporacinės įmonės rankų ir įveda ją į atvirojo kodo bendruomenę, kuri leidžia visiems iš tikrųjų gauti naudos iš to darbo“, – sakė Aramburu.

Įmonės pradeda naudoti API (pvz., „Apache Iceberg“) su „Snowflake“ ir „Databricks“ ir standartizuoja bendrą duomenų ežerą abiejose. Standartizavusios API, organizacijos gali generuoti struktūrizuotą užklausų kalbą įvairiose sistemose.

Patterson teigimu, kartu su standartizuotomis API, pagreitinta aparatinė įranga yra būtina šiuolaikinėms duomenų platformoms, ypač dirbtiniam intelektui. Didelės kalbos modelių mokymas reikalauja didžiulės grafikos apdorojimo įrenginio galios, o tai tiesiogiai veikia energijos suvartojimą. „Theseus“, „Voltron Data“ sukurtas paskirstytų užklausų variklis, naudoja GPU, kad apdorotų didelius duomenų kiekius su mažiau energijos.

„Esant dabartinei mūsų architektūrai, naudojant A100… („Theseus“) gali atlikti tikrai didelio masto duomenų analizę su maždaug 80 % mažiau energijos“, – sakė Pattersonas.

Anot Pattersono, modulinės, sąveikios ir sujungiamos duomenų sistemos sumažina kliūtis patekti į rinką diegti šias su AI susijusias technologijas. Kitas privalumas yra tai, kad žmonės gali naudoti Theseus nekeisdami API ar duomenų formatų, todėl jie gali pasiekti greitesnį našumą su mažiau serverių.

„(Vartotojai) iš tikrųjų gali sumažinti savo duomenų centro pėdsaką ir… sutaupyti energijos, arba gali perkelti tą energiją, kurią naudojo dideliems duomenims, į DI“, – pridūrė Pattersonas.

Naujovės duomenų valdymo lygmenyje

Patterson teigimu, naudojant komponuojamas duomenų sistemas, be atskirų skaičiavimo ir duomenų sluoksnių, jis taip pat gali turėti atskirą skaičiavimo saugojimo sluoksnį, kuris leidžia keisti mastelį. Naudojant išskaidytą vykdymo variklį, gali būti palaikomos kelios API ir keli varikliai gali pasiekti duomenis. Kadangi viskas veikia pagreitinta technine įranga, įmonės gali matyti geresnes kainas ir energijos efektyvumą, o tai atveria naujas galimybes duomenų valdymo lygmenyje.

„Tai leidžia (organizacijoms) tiesiog pradėti kurti konkrečias domeno duomenų sistemas, kurių kūrimas kitu atveju yra pernelyg brangus“, – sakė Pattersonas.

Pattersonas pažymėjo, kad naudojant greitesnius sluoksnius nuo pat pradžių ir geresnį tinklų kūrimą, saugojimą ir duomenų valdymą, galima pasiekti tokius pat našumo lygius kaip ir skaičiavimo variklis. Tesėjas yra tokio našumo lygio pavyzdys.

„Jis veikia kaip užklausų variklis, skirtas (originalią įrangą, pagamintą) kitiems, kad jie galėtų kurti šias konkrečiai domenui skirtas programas, kur galite turėti daug mažesnį plotą, greičiau (ir su) mažiau energijos. ir jūs galite ieškoti verslo naudojimo atvejų, kurie kitu atveju buvo pernelyg brangūs“, – pridūrė jis.

Duomenų analizės ir AI ateitis

Pattersonas prognozavo, kad tobulėjant duomenų analizei naudojant tokius produktus kaip Voltron „Theseus“ užklausų variklis, tinklai taps daug svarbesni, o įmonės pradės matyti didesnę ir greitesnę saugyklą. Didelės spartos tinklų kūrimas ir greitesnė saugykla taip pat atvers kelią dirbtiniam intelektui ir duomenų analizei, o didelių duomenų problemas sumažins iki mažesnio ploto.

„Ten, kur yra tankesnė saugykla, (turite) greitesnę saugyklą ir didesnį pralaidumą“, – sakė Pattersonas. „Iš tikrųjų matau AI ir didelių duomenų konvergenciją.

Štai visas theCUBE AnalystANGLE su Joshu Pattersonu ir Rodrigo Aramburu:

https://www.youtube.com/watch?v=_4c62vOJtEg

Vaizdas: alengo iš „Getty Images Signature“.