Liquid AI debiutuoja naujus LFM pagrindu veikiančius modelius, kurie, atrodo, pranoksta daugumą tradicinių didelių kalbų modelių

Dirbtinio intelekto startuolis ir MIT spinoff Liquid AI Inc. šiandien pristatė savo pirmąjį generuojamųjų AI modelių rinkinį ir jie labai skiriasi nuo konkuruojančių modelių, nes yra sukurti remiantis iš esmės nauja architektūra.

Naujieji modeliai vadinami „Liquid Foundation Models“ arba LFM, ir teigiama, kad jie pasižymi įspūdingu našumu, kuris prilygsta kai kuriems iš geriausių šiandien prieinamų didelių kalbų modelių arba netgi pranašesnis už juos.

Bostone įsikūrusį startuolį įkūrė Masačusetso technologijos instituto mokslininkų komanda, įskaitant Ramin Hasani, Mathias Lechner, Alexander Amini ir Daniela Rus. Teigiama, kad jie yra „skystųjų neuroninių tinklų“ koncepcijos pionieriai. Tai AI modelių klasė, kuri labai skiriasi nuo generuojamųjų iš anksto apmokytų transformatorių modelių, kuriuos šiandien žinome ir mėgstame, pavyzdžiui, OpenAI GPT serijos ir „Google“. LLC „Gemini“ modeliai.

Įmonės misija – sukurti itin galingus ir efektyvius bendrosios paskirties modelius, kuriuos galėtų naudoti įvairaus dydžio organizacijos. Norėdami tai padaryti, jis kuria LFM pagrįstas AI sistemas, kurios gali veikti bet kokiu mastu – nuo ​​tinklo krašto iki įmonės lygio diegimo.

Kas yra LFM?

„Liquid“ teigimu, jos LFM yra naujos kartos AI sistemos, sukurtos atsižvelgiant į našumą ir efektyvumą. Jie naudoja minimalią sistemos atmintį, tuo pačiu užtikrindami išskirtinę skaičiavimo galią, aiškina bendrovė.

Jie pagrįsti dinaminėmis sistemomis, skaitine tiesine algebra ir signalų apdorojimu. Dėl to jie idealiai tinka įvairių tipų nuosekliems duomenims, įskaitant tekstą, garsą, vaizdus, ​​vaizdo įrašus ir signalus, tvarkyti.

Liquid AI pirmą kartą pateko į antraštes gruodžio mėnesį, kai surinko 37,6 mln. USD pradinį finansavimą. Tuo metu ji paaiškino, kad jos LFM yra pagrįsti naujesne, skystųjų neuronų tinklo architektūra, kuri iš pradžių buvo sukurta MIT kompiuterių mokslo ir dirbtinio intelekto laboratorijoje. LNN yra pagrįsti dirbtinių neuronų arba mazgų, skirtų duomenims transformuoti, koncepcija.

Nors tradiciniams gilaus mokymosi modeliams skaičiavimo užduotims atlikti reikia tūkstančių neuronų, LNN gali pasiekti tą patį našumą su žymiai mažiau. Tai daroma tuos neuronus derinant su naujoviškomis matematinėmis formuluotėmis, leidžiančiomis padaryti daug daugiau su mažiau.

Startuolis teigia, kad jo LFM išlaiko šią pritaikomą ir efektyvią galimybę, kuri leidžia jiems atlikti realaus laiko koregavimus darant išvadas be milžiniškų skaičiavimo išlaidų, susijusių su tradiciniais LLM. Dėl to jie gali efektyviai apdoroti iki 1 milijono žetonų, neturėdami jokio pastebimo poveikio atminties naudojimui.

Liquid AI pradeda veikti su trijų modelių šeima, įskaitant LFM-1B, kuris yra tankus modelis su 1,3 milijardo parametrų, sukurtas ribotoms aplinkoms. Šiek tiek galingesnis yra LFM-3B, turintis 3,1 milijardo parametrų ir skirtas kraštiniams diegimams, pavyzdžiui, mobiliosioms programoms, robotams ir dronams. Galiausiai yra LFM-40B, kuris yra daug galingesnis „ekspertų mišinio“ modelis su 40,3 milijardo parametrų, sukurtas naudoti debesies serveriuose, kad būtų galima tvarkyti sudėtingiausius naudojimo atvejus.

Startuolis mano, kad jo nauji modeliai jau parodė „pažangiausius rezultatus“ daugelyje svarbių AI etalonų ir mano, kad jie tampa didžiuliais konkurentais esamiems generatyviems AI modeliams, tokiems kaip „ChatGPT“.

Nors tradiciniai LLM pastebi staigų atminties naudojimo padidėjimą, kai apdoroja ilgą kontekstą, LFM-3B modelis išlaiko daug mažesnį atminties plotą (aukščiau), todėl jis yra puikus pasirinkimas programoms, kurioms apdoroti reikia daug nuoseklių duomenų. . Bendrovės teigimu, naudojimo atvejų pavyzdžiai gali būti pokalbių robotai ir dokumentų analizė.

Puikus našumas pagal etalonus

Kalbant apie savo našumą, LFM pasiekė įspūdingų rezultatų, nes LFM-1B pralenkė transformatorinius modelius toje pačioje dydžio kategorijoje. Tuo tarpu LFM-3B puikiai atlaiko tokius modelius kaip Microsoft Corp. Phi-3.5 ir Meta Platforms Inc. Llama šeima. Kalbant apie LFM-40B, jo efektyvumas yra toks, kad jis netgi gali pranokti didesnius modelius, išlaikant neprilygstamą našumo ir efektyvumo pusiausvyrą.

Liquid AI teigė, kad LFM-1B modelis pasižymi ypač dominuojančiais etalonais, tokiais kaip MMLU ir ARC-C, nustatydamas naują standartą 1B parametrų modeliams.

Bendrovė iš anksto siūlo savo modelius per platformas, tokias kaip „Liquid Playground“, „Lambda“ (per savo pokalbių ir programų programavimo sąsajas) ir „Perplexity Labs“. Tai suteiks organizacijoms galimybę integruoti savo modelius į įvairias AI sistemas ir pamatyti, kaip jie veikia įvairiuose diegimo scenarijuose, įskaitant krašto įrenginius ir vietinius įrenginius.

Vienas iš dalykų, su kuriais šiuo metu dirbama, yra LFM modelių optimizavimas, kad jie veiktų naudojant konkrečią aparatinę įrangą, kurią sukūrė Nvidia Corp., Advanced Micro Devices Inc., Apple Inc., Qualcomm Inc. ir Cerebras Computing Inc., kad vartotojai galėtų išspausti dar daugiau našumo, kol jie pasieks bendrą prieinamumą.

Bendrovė teigia, kad išleis daugybę techninių tinklaraščio įrašų, kuriuose bus giliai pasinerta į kiekvieno modelio mechaniką prieš oficialią jų pristatymą. Be to, tai skatina raudonųjų komandų kūrimą, kviečia AI bendruomenę išbandyti savo LFM iki galo ir išsiaiškinti, ką jie gali ir ko dar negali.

Vaizdas: SiliconANGLE / Microsoft Designer