Optimizavimo kodas padidina našumą 5 kartus

Ši technologija, sukurta bendradarbiaujant su KAUST vadovaujamais „Intel“, „Microsoft“ ir Vašingtono universitetu, gali smarkiai pagreitinti mašinų mokymąsi lygiagrečių skaičiavimo sistemų srityje. Paskola: © 2021 KAUST; Anastasija Serin

Tinklo komunikacijos optimizavimas pagreitina mokymą pagal didelio masto mašininio mokymosi modelius.

Įdiegus lengvą optimizavimo kodą didelės spartos tinklo įrenginiuose, KAUST vadovaujamas bendradarbiavimas leido penkis kartus padidinti mašininio mokymosi greitį lygiagrečiose skaičiavimo sistemose.

Ši „tinklo integravimo“ technologija sukurta kartu su „Intel“, „Microsoft“, „Microsoft Researchers“, „System Architects“ Vašingtono universitetas, gali žymiai pagerinti greitį naudodama turimą programuojamą tinklo įrangą.

Esminis dirbtinio intelekto (PG) pranašumas, suteikiantis jam tiek daug jėgų „suprasti“ ir bendrauti su pasauliu, yra mašininio mokymosi žingsnis, kurio metu mokomas modelis naudojant didelę paženklintų treniruočių duomenų kolekciją. Kuo daugiau duomenų bus mokoma dirbtinio intelekto srityje, tuo geriau modelis veiks naujų įrašų įtakoje.

Naujausias dirbtinio intelekto taikymo bumas daugiausia susijęs su geresniu mašinų mokymusi, didesnių modelių naudojimu ir įvairesnėmis duomenų bazėmis. Tačiau atlikti mašininio mokymosi skaičiavimus yra didžiulė apmokestinimo užduotis, kuri vis labiau priklauso nuo didelių kompiuterių masių, kurios lygiagrečiai valdo mokymosi algoritmą.

„Kaip sukurti giluminio mokymosi modelius dideliu mastu, yra labai sunki užduotis“, – sako Marco Canini iš KAUST tyrimų grupės. „AI modelius gali sudaryti milijardai parametrų, mes galime naudoti šimtus procesorių, kurie turi veikti efektyviai lygiagrečiai. Tokiose sistemose procesorių ryšys lengvai tampa pagrindiniu kamščiu palaipsniui atnaujinant modelį.

Komanda rado galimą naujos tinklo technologijos, kurią sukūrė „Intel Division Barefoot Networks“, sprendimą.

„Mes naudojame naujai programuojamą„ Barefoot Networks “duomenų lėktuvų tinklo įrangą tam, kad iškrautume dalį iškrautų mašinų mokymų metu atlikto darbo“, – paaiškina KAUST absolventas Amedeo Sapio, nuo tada prisijungęs prie „Intel“ barefoot Networks komandos. “Naudojant šią naują programuojamą tinklo įrangą, ne tik tinklą, duomenims perduoti, mes galime atlikti skaičiavimus tinkle.”

Pagrindinė komandos „SwitchML“ platformos naujovė yra ta, kad tinklo įrangai leidžiama atlikti duomenų konsolidavimo užduotį kiekviename sinchronizavimo etape atnaujinant mašininio mokymosi proceso modelį. Šis iškrovimas yra ne tik numatomos apkrovos dalis, bet ir žymiai sumažina duomenų perdavimą.

„Nors programuojamas jungiklio duomenų planas gali veikti labai greitai, jo atlikti veiksmai yra riboti“, – sako Canini. „Taigi mūsų sprendimas turėtų būti pakankamai paprastas aparatinei įrangai, tačiau tuo pat metu pakankamai lankstus, kad išspręstų tokius uždavinius kaip ribota atminties talpa laive. „„ SwitchML “sprendžia šį iššūkį kartu sukurdamas paskirstytą mokymosi algoritmą, kuris paspartėtų iki 5,5 karto šiuolaikinio požiūrio“.

Nuoroda. 2021 m. Balandžio mėn. Amedeo Sapio, Marco Canini, Chen-Yu Ho, Jacobo Nelsono, Panoso Kalnio, Changhoono Kim, Arvindo Krishnamurthy, Masoudo Moshrefo, Dano Portso ir Peterio Richtariko „Plataus masto platinimo mašinų mokymasis per tinklo agregaciją“. 18-asis USENIX simpoziumas, skirtas EN pereinamojo laikotarpio sistemų projektavimui ir įgyvendinimui (NSDI ’21),
Nuoroda

Related articles

Comments

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Share article

Latest articles

Prognozuojama, kad ateivių rūšių padaugės 36% iki 2050 m

Egipto žąsis (Alopochen aegyptiaca), kilusi iš Afrikos, o dabar įsikūrusi Vidurio ir Vakarų Europoje. Autorius: profesorius Timas Blackburnas, UCL Tikimasi, kad šio amžiaus viduryje...

Dėl hormoninių vaistų neproliferaciniai baltymai gali išplisti koronavirusą ir sustabdyti ID-19 vystymąsi

Hormonų tyrimai gali sukelti AD-19 ginklų paplitimą. Kreditas: „Getty Images“ Naujas „Penny Medical“ tyrimas parodo, kaip anti-androgenai trukdo pagrindiniams receptoriams, reikalingiems virusų invazijai į...

Nuostabus „slapto“ objektyvo projektavimo metodas, kurį naudojo „mikrobiologijos tėvas“, rastas po 300 metų

Tai Van Leeuwenhoek mikroskopas. Autoriai: Utrechto universitetas / Rijksmuseum Boerhaave / TU Delft Mikroskopas, kurį Antoni van Leeuwenhoek naudojo novatoriškiems tyrimams atlikti, turi nuostabų...

Joninės sijos sudaro glaudžiai sujungtas „Qubits“ grandines.

Jonų pluoštai gali suformuoti glaudžiai suporuotas kvantinių bitų (kubitų) grandines, pagrįstas deimantų „azoto neturinčiais„ spalvų centrais “, skirtus naudoti kvantinės skaičiavimo aparatinėje įrangoje. ...

Tyrėjai kuria 3D atspausdintą želę biomedicininėms medžiagoms, minkštai robotikai

Hidrogelio medžiaga gaunama iš skirtingo dydžio dumblių dalelių. Paskola Orlino slėnis, NC valstybinis universitetas Dėl stiprumo ir lankstumo hidrogeliai sujungia du fizinius kiaušinius...

Newsletter

Subscribe to stay updated.