Optimizavimo kodas padidina našumą 5 kartus

Ši technologija, sukurta bendradarbiaujant su KAUST vadovaujamais „Intel“, „Microsoft“ ir Vašingtono universitetu, gali smarkiai pagreitinti mašinų mokymąsi lygiagrečių skaičiavimo sistemų srityje. Paskola: © 2021 KAUST; Anastasija Serin

Tinklo komunikacijos optimizavimas pagreitina mokymą pagal didelio masto mašininio mokymosi modelius.

Įdiegus lengvą optimizavimo kodą didelės spartos tinklo įrenginiuose, KAUST vadovaujamas bendradarbiavimas leido penkis kartus padidinti mašininio mokymosi greitį lygiagrečiose skaičiavimo sistemose.

Ši „tinklo integravimo“ technologija sukurta kartu su „Intel“, „Microsoft“, „Microsoft Researchers“, „System Architects“ Vašingtono universitetas, gali žymiai pagerinti greitį naudodama turimą programuojamą tinklo įrangą.

Esminis dirbtinio intelekto (PG) pranašumas, suteikiantis jam tiek daug jėgų „suprasti“ ir bendrauti su pasauliu, yra mašininio mokymosi žingsnis, kurio metu mokomas modelis naudojant didelę paženklintų treniruočių duomenų kolekciją. Kuo daugiau duomenų bus mokoma dirbtinio intelekto srityje, tuo geriau modelis veiks naujų įrašų įtakoje.

Naujausias dirbtinio intelekto taikymo bumas daugiausia susijęs su geresniu mašinų mokymusi, didesnių modelių naudojimu ir įvairesnėmis duomenų bazėmis. Tačiau atlikti mašininio mokymosi skaičiavimus yra didžiulė apmokestinimo užduotis, kuri vis labiau priklauso nuo didelių kompiuterių masių, kurios lygiagrečiai valdo mokymosi algoritmą.

„Kaip sukurti giluminio mokymosi modelius dideliu mastu, yra labai sunki užduotis“, – sako Marco Canini iš KAUST tyrimų grupės. „AI modelius gali sudaryti milijardai parametrų, mes galime naudoti šimtus procesorių, kurie turi veikti efektyviai lygiagrečiai. Tokiose sistemose procesorių ryšys lengvai tampa pagrindiniu kamščiu palaipsniui atnaujinant modelį.

Komanda rado galimą naujos tinklo technologijos, kurią sukūrė „Intel Division Barefoot Networks“, sprendimą.

„Mes naudojame naujai programuojamą„ Barefoot Networks “duomenų lėktuvų tinklo įrangą tam, kad iškrautume dalį iškrautų mašinų mokymų metu atlikto darbo“, – paaiškina KAUST absolventas Amedeo Sapio, nuo tada prisijungęs prie „Intel“ barefoot Networks komandos. “Naudojant šią naują programuojamą tinklo įrangą, ne tik tinklą, duomenims perduoti, mes galime atlikti skaičiavimus tinkle.”

Pagrindinė komandos „SwitchML“ platformos naujovė yra ta, kad tinklo įrangai leidžiama atlikti duomenų konsolidavimo užduotį kiekviename sinchronizavimo etape atnaujinant mašininio mokymosi proceso modelį. Šis iškrovimas yra ne tik numatomos apkrovos dalis, bet ir žymiai sumažina duomenų perdavimą.

„Nors programuojamas jungiklio duomenų planas gali veikti labai greitai, jo atlikti veiksmai yra riboti“, – sako Canini. „Taigi mūsų sprendimas turėtų būti pakankamai paprastas aparatinei įrangai, tačiau tuo pat metu pakankamai lankstus, kad išspręstų tokius uždavinius kaip ribota atminties talpa laive. „„ SwitchML “sprendžia šį iššūkį kartu sukurdamas paskirstytą mokymosi algoritmą, kuris paspartėtų iki 5,5 karto šiuolaikinio požiūrio“.

Nuoroda. 2021 m. Balandžio mėn. Amedeo Sapio, Marco Canini, Chen-Yu Ho, Jacobo Nelsono, Panoso Kalnio, Changhoono Kim, Arvindo Krishnamurthy, Masoudo Moshrefo, Dano Portso ir Peterio Richtariko „Plataus masto platinimo mašinų mokymasis per tinklo agregaciją“. 18-asis USENIX simpoziumas, skirtas EN pereinamojo laikotarpio sistemų projektavimui ir įgyvendinimui (NSDI ’21),
Nuoroda

Related articles

Comments

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Share article

Latest articles

Pažymėtinos giliavandenės Veneros gėlių kempinių struktūros, kurios yra naudingos kuriant laivus, lėktuvus ir dangoraižius

Euplectella aspergillum stiklo kempinės struktūra structure už hidrodinaminio lauko ribų. Pramonė buvo perstatyta naudojant CINECA superkompiuterius. Kinetinė metodika և Pažangūs skaičiavimo kodai...

Didžiausia aplinkos šalinimo kaukė – ir kaip ją sumažinti

Naujas tyrimas nustatė naudojamo N95 išeikvojimą ir pasiūlė tinkamus būdus jį sumažinti. Nuo praėjusiais metais prasidėjusios „Covid-19“ epidemijos, užrištos akys tapo dar viena sveikatos apsaugos...

Neuromediatorių lygis smegenyse nuspėja matematinius sugebėjimus

Skenavimas buvo baigtas 1 ir 2 metu (maždaug po 1,5 metų) kiekvienoje iš penkių amžiaus grupių (6-erių, 10-mečių, 14-mečių, 16-mečių ir 18 metų) -metukai)....

Genetikai atskleidžia mutacijas, sukeliančias sunkų vaikystės vėžį – vartokite vaistus, kad pašalintumėte jų šalutinį poveikį

Trejybės koledžo genetikai atrado specifinio geno, vadinamo H3K27M, mutaciją, sukeliančią neišgydomą vaikystės vėžį, vadinamą diffi midi glioma (DMG). Augimas taikant tikslinius vaistus. Jų istoriniai...

Neigiamų jonų sulaikymas tarpžvaigždinėje erdvėje

Kaip tarpžvaigždinėje aplinkoje kuriamos neigiamai įkrautos molekulės? Tarpžvaigždiniai debesys yra naujų žvaigždžių gimtinė. Tačiau jie taip pat vaidina pagrindinį vaidmenį formuojant gyvenimą visatoje per...

Newsletter

Subscribe to stay updated.