„Google“ pristato naują tikslumui optimizuotą „DataGemma LLM“ seriją

„Google LLC“ sukūrė kalbų modelių, kurie gali tiksliau nei ankstesni algoritmai atsakyti į klausimus apie skaitinius faktus.

DataGemma serija, kaip vadinama modelių serija, debiutavo ketvirtadienį. „Google“ sukūrė „Hugging Face“ algoritmų šaltinio kodą.

DataGemma yra optimizuota, kad pateiktų vartotojų klausimus apie statistinius faktus, pvz., vidutines įmonių pajamas tam tikrame rinkos segmente. Jis atsako į užklausas naudodamas informaciją iš „Data Commons“, nemokamos žinių saugyklos, kurią prižiūri „Google“. Saugykloje yra daugiau nei 240 milijardų duomenų taškų iš tokių šaltinių kaip Jungtinės Tautos, Pasaulio sveikatos organizacija, CDC ir surašymo biurai.

Po gaubtu „DataGemma“ serija yra pagrįsta „Gemma 2 27B“, atviro kodo didelės kalbos modeliu, kurį „Google“ naudoja paleistas birželio mėnesį. „Gemma 2 27B“ veikia pagal pramonės standarto transformatorių neuroninio tinklo architektūrą ir turi 27 milijardus parametrų. „Google“ teigia, kad ji gali konkuruoti su LLM našumu, turėdama dvigubai daugiau parametrų.

Pasak bendrovės, „DataGemma“ yra pagrįsta „Gemma 2 27B“ versija, kuri buvo specialiai optimizuota skaitiniams faktams apdoroti. Modelis sąveikauja su Data Commons, žinių saugykla, iš kurios jis gauna tuos faktus, naudodamas natūralios kalbos paieškos juostą.

„Užuot reikia žinių apie konkrečią pagrindinių duomenų rinkinių duomenų schemą arba API, „DataGemma“ naudoja natūralią „Data Commons“ kalbos sąsają, kad užduotų klausimus“, – paaiškino „Google“ programinės įrangos inžinierė Jennifer Chen ir Prem Ramaswami, Data Commons vadovė. dienoraščio įrašas. „Niuansas yra mokyti LLM žinoti, kada paklausti.

„Google“ kaip projekto dalį sukūrė dvi „DataGemma“ versijas. Kiekvienas iš jų skirtingai atsako į vartotojų klausimus.

Pirmoji versija užklausoms apdoroti naudoja metodą, žinomą kaip RIG arba atkūrimo-interleaved generavimas. Kai vartotojas užduoda klausimą, modelis negeneruoja atsakymo, remdamasis savo vidine žinių baze, o prašo Data Commons reikalingos informacijos. Tada LLM naudoja gautus duomenis, kad sugeneruotų greitą atsakymą.

Antroji DataGemma versija įgyvendina plačiau naudojamą RAG arba paieškos papildytos kartos duomenų valdymo metodą. Kai vartotojas įveda užklausą, modelis iš Data Commons nuskaito informaciją, susijusią su raginimu. Tada jis siunčia surinktą informaciją į pažangesnį, patentuotą „Gemini 1.5 Pro“ modelį, kuris sugeneruoja atsakymą.

Pagal MIT technologijų apžvalgaRIG versija DataGemma gali teisingai gauti skaitinius faktus iš Data Commons maždaug 58 % laiko. Tai lyginama su 5–17 % tikslumu, pasiektu naudojant kitus modelius, kuriuos įvertino „Google“. Savo ruožtu DataGemma RAG versija sugeneravo teisingus atsakymus į 80–94 % atsakymų, gautų per paieškos milžino testus.

„Google“ planuoja patobulinti „DataGemma“ mokydama daugiau informacijos. Be to, „Google“ padidins klausimų, į kuriuos LLM serija gali atsakyti, skaičių nuo kelių šimtų iki milijonų. Toliau bendrovė planuoja integruoti DataGemma duomenų gavimo galimybes į pavyzdinę Gemini kalbų modelių seriją.

Vaizdas: Google