Si të përdorni GPU-të NVIDIA për trajnimin e inteligjencës artificiale [Video dhe kuiz]

Përgjigje e shkurtër: Përdorni GPU-të NVIDIA për trajnimin e IA-së duke konfirmuar së pari që drajveri dhe GPU janë të dukshëm me nvidia-smi, pastaj duke instaluar një framework/CUDA stack të pajtueshëm dhe duke ekzekutuar një test të vogël "model + batch on cuda". Nëse keni mungesë memorjeje, zvogëloni madhësinë e batch-it dhe përdorni saktësi të përzier, ndërsa monitoroni shfrytëzimin, memorien dhe temperaturat.

Përmbledhjet kryesore:

Kontrollet bazë: Filloni me nvidia-smi; rregulloni dukshmërinë e drajverëve përpara se të instaloni framework-et.

Pajtueshmëria e stack-ut: Mbani të përafruara versionet e drajverit, kohës së ekzekutimit të CUDA-s dhe framework-ut për të parandaluar përplasjet dhe instalimet e dobëta.

Sukses i vogël: Konfirmoni një kalim të vetëm përpara në CUDA përpara se të shkallëzoni eksperimentet.

Disiplina VRAM: Mbështetuni në precizion të përzier, akumulim gradient dhe pikë kontrolli për t'iu përshtatur modeleve më të mëdha.

Zakoni i monitorimit: Ndiqni shfrytëzimin, modelet e memories, fuqinë dhe temperaturat në mënyrë që të dalloni pengesat herët.

Artikuj që mund t'ju pëlqejnë të lexoni pas këtij:

🔗 Si të ndërtoni një agjent të inteligjencës artificiale
Dizajnoni rrjedhën e punës, mjetet, memorien dhe mbrojtëset e agjentit tuaj.

🔗 Si të vendosni modele të inteligjencës artificiale
Konfiguroni mjedise, paketoni modele dhe dërgojini në prodhim në mënyrë të besueshme.

🔗 Si të matni performancën e inteligjencës artificiale
Zgjidhni metrika, kryeni vlerësime dhe ndiqni performancën me kalimin e kohës.

🔗 Si të automatizoni detyrat me anë të inteligjencës artificiale
Automatizoni punën përsëritëse me kërkesa, rrjedha pune dhe integrime.

1) Pamja e përgjithshme - çfarë bën kur “stërvitesh me GPU” 🧠⚡

Kur trajnoni modele të inteligjencës artificiale, kryesisht po bëni një mal me llogaritje matricore. GPU-të janë ndërtuar për këtë lloj pune paralele, kështu që kornizat si PyTorch, TensorFlow dhe JAX mund ta shkarkojnë barrën e rëndë nga GPU-ja. (Dokumentet PyTorch CUDA, instalimi i TensorFlow (pip), fillimi i shpejtë i JAX)

Në praktikë, "përdorimi i GPU-ve NVIDIA për trajnim" zakonisht do të thotë:

• Parametrat e modelit tuaj (kryesisht) gjenden në GPU VRAM

• Grupet tuaja zhvendosen nga RAM në VRAM në çdo hap

• Kalimi përpara dhe prapa funksionojnë në bërthama CUDA (Udhëzuesi i Programimit CUDA)

• Përditësimet e optimizuesit tuaj ndodhin në GPU (idealisht)

• Ju monitoroni temperaturat, memorien, përdorimin në mënyrë që të mos gatuani asgjë 🔥 (dokumentet NVIDIA nvidia-smi)

Nëse kjo tingëllon shumë, mos u shqetësoni. Është kryesisht një listë kontrolli dhe disa zakone që i krijoni me kalimin e kohës.

2) Çfarë e bën një version të mirë të një konfigurimi trajnimi AI të GPU-së NVIDIA 🤌

Ky është seksioni "mos ndërto shtëpi mbi pelte". Një konfigurim i mirë për Si të përdorni GPU-të NVIDIA për trajnimin e inteligjencës artificiale është ai që ka pak drama. Drama e ulët është e qëndrueshme. E qëndrueshme është e shpejtë. E shpejtë është... epo, e shpejtë 😄

Një strukturë e fortë trajnimi zakonisht ka:

• VRAM i mjaftueshëm për madhësinë e serisë suaj + modelin + gjendjet e optimizuesit

  • VRAM është si një valixhe e vogël. Mund të paketosh gjëra më me zgjuarsi, por nuk mund të paketosh gjëra pafund.

• Një grumbull softuerësh i përputhshëm (driver + CUDA runtime + pajtueshmëri me framework) (PyTorch Get Started (përzgjedhësi CUDA), instalimi i TensorFlow (pip))

• Ruajtje e shpejtë (NVMe ndihmon shumë për grupe të mëdha të dhënash)

• CPU + RAM i mirë , kështu që ngarkimi i të dhënave nuk e mbingarkon GPU-në (Udhëzuesi i Akordimit të Performancës PyTorch)

• Hapësira e ftohjes dhe fuqisë (e nënvlerësuar derisa nuk është më 😬)

• Mjedis i riprodhueshëm (venv/conda ose kontejnerë) në mënyrë që përmirësimet të mos shndërrohen në kaos (Përmbledhje e NVIDIA Container Toolkit)

Dhe një gjë tjetër që njerëzit e anashkalojnë:

• Një zakon monitorimi - ju kontrolloni memorien dhe përdorimin e GPU-së ashtu siç kontrolloni pasqyrat gjatë drejtimit të makinës. (Dokumentet NVIDIA nvidia-smi)

3) Tabela Krahasuese - mënyra të njohura për t'u stërvitur me GPU-të NVIDIA (me veçoritë) 📊

Më poshtë është një formular i shpejtë me pyetjet “cila më përshtatet?”. Çmimet janë të përafërta (sepse realiteti ndryshon), dhe po, një nga këto qeliza është paksa e çrregullt, me qëllim.

4) Hapi i parë - konfirmoni që GPU-ja juaj shihet siç duhet 🕵️♂️

Para se të instaloni një duzinë gjërash, verifikoni bazat.

Gjërat që dëshironi të jenë të vërteta:

• Makina e sheh GPU-në

• Shoferi i NVIDIA është instaluar saktë

• GPU-ja nuk është e bllokuar duke bërë diçka tjetër

• Mund ta pyesësh me siguri

Verifikimi klasik është:

• nvidia-smi (dokumentete NVIDIA nvidia-smi)

Çfarë po kërkoni:

• Emri i GPU-së (p.sh., RTX, seria A, etj.)

• Versioni i shoferit

• Përdorimi i memories

• Proceset në ekzekutim (dokumentet NVIDIA nvidia-smi)

Nëse nvidia-smi dështon, ndalo menjëherë. Mos instalo ende framework-e. Është si të përpiqesh të pjekësh bukë kur furra nuk është e lidhur në prizë. (NVIDIA System Management Interface (NVSMI))

Shënim i vogël njerëzor: ndonjëherë nvidia-smi funksionon, por trajnimi juaj prapë dështon sepse koha e ekzekutimit CUDA e përdorur nga framework-u juaj nuk përputhet me pritjet e drajverit. Nuk po tregoheni budalla. Kështu është… thjesht kështu është 😭 (PyTorch Get Started (përzgjedhësi CUDA), instalimi i TensorFlow (pip))

5) Ndërtoni paketën e softuerëve - drajverët, CUDA, cuDNN dhe "vallëzimi i përputhshmërisë" 💃

Këtu njerëzit humbasin orë të tëra. Truku është: zgjidh një rrugë dhe qëndroji besnik asaj.

Opsioni A: CUDA e kombinuar me kornizë (shpesh më e lehtë)

Shumë versione të PyTorch vijnë me kohën e tyre të ekzekutimit CUDA, që do të thotë se nuk keni nevojë për një set të plotë mjetesh CUDA të instaluar në të gjithë sistemin. Kryesisht ju nevojitet vetëm një drajver i pajtueshëm NVIDIA. (Fillimi i PyTorch (përzgjedhësi CUDA), Versionet e mëparshme të PyTorch (rrotat CUDA))

Pro:

• Më pak pjesë lëvizëse

• Instalime më të lehta

• Më i riprodhueshëm për mjedis

Kundër:

• Nëse i përzieni mjediset rastësisht, mund të ngatërroheni

Opsioni B: Seti i mjeteve CUDA të sistemit (më shumë kontroll)

Ju instaloni paketën e mjeteve CUDA në sistem dhe i përshtatni të gjitha me të. (Dokumentet e paketës së mjeteve CUDA)

Pro:

• Më shumë kontroll për ndërtime me porosi, disa mjete të posaçme

• I dobishëm për kompilimin e operacioneve të caktuara

Kundër:

• Më shumë mënyra për të mospërputhur versionet dhe për të qarë në heshtje

cuDNN dhe NCCL, në terma njerëzorë

• cuDNN përshpejton primitivët e të mësuarit të thellë (konvolucionet, bitët RNN, etj.) (dokumentet e NVIDIA cuDNN)

• NCCL është biblioteka e shpejtë "komunikim GPU-me-GPU" për trajnim me shumë GPU (përmbledhje e NCCL)

Nëse bëni trajnim me shumë GPU, NCCL është miku juaj më i mirë - dhe, ndonjëherë, shoku juaj i dhomës me temperament. (Përmbledhje e NCCL)

6) Stërvitja juaj e parë me GPU (mendësia shembull PyTorch) ✅🔥

Për të ndjekur udhëzuesin "Si të përdorni GPU-të NVIDIA për trajnim në IA", nuk ju nevojitet më parë një projekt i madh. Ju nevojitet një sukses i vogël.

Idetë kryesore:

• Zbulo pajisjen

• Zhvendos modelin në GPU

• Zhvendos tenzorët në GPU

• Konfirmoni vrapimet e kalimit përpara atje (dokumentet PyTorch CUDA)

Gjërat që gjithmonë i kontrolloj herët për shëndetin mendor:

• torch.cuda.is_available() kthen të Vërtetë (torch.cuda.is_available)

• next(model.parameters()).device tregon CUDA (Forumi PyTorch: kontrolloni modelin në CUDA)

• Një kalim përpara i një grupi të vetëm nuk bën gabim

• Memoria e GPU-së rritet kur fillon stërvitjen (një shenjë e mirë!) (dokumentet e NVIDIA nvidia-smi)

Pyetjet e zakonshme "pse është i ngadaltë?" kuptohen

• Ngarkuesi juaj i të dhënave është shumë i ngadaltë (GPU-ja pret në gjendje të papërdorur) (Udhëzues për Akordimin e Performancës PyTorch)

• Ke harruar të zhvendosësh të dhënat në GPU (oops)

• Madhësia e serisë është e vogël (GPU nuk shfrytëzohet sa duhet)

• Po kryeni një përpunim paraprak të rëndë të CPU-së në hapin e trajnimit

Gjithashtu, po, GPU-ja juaj shpesh do të duket "jo aq e zënë" nëse pengesa janë të dhënat. Është si të punësosh një pilot makine garash dhe pastaj ta bësh të presë për karburant në çdo xhiro.

7) Loja VRAM - madhësia e serisë, precizioni i përzier dhe jo shpërthimi 💥🧳

Shumica e problemeve praktike të trajnimit përfundojnë te memorizimi. Nëse mësoni një aftësi, mësoni menaxhimin e VRAM.

Mënyra të shpejta për të zvogëluar përdorimin e kujtesës

• Precizion i përzier (FP16/BF16)

  • Zakonisht edhe një rritje e madhe e shpejtësisë. Fitore për të dyja palët 😌 (dokumentet e PyTorch AMP, udhëzuesi i precizionit të përzier TensorFlow)

• Akumulimi i gradientit

  • Simuloni një madhësi më të madhe grupi duke grumbulluar gradiente gjatë hapave të shumëfishtë (dokumentet e trajnimit të Transformers (akumulimi i gradientit, fp16))

• Gjatësi më e vogël e sekuencës / madhësia e prerjes

  • Brutale, por efektive

• Kontroll i aktivizimit

  • Shkëmbimi i llogaritjes për memorie (rillogaritja e aktivizimeve gjatë kthimit prapa) (torch.utils.checkpoint)

• Përdorni një optimizues më të lehtë

  • Disa optimizues ruajnë gjendje shtesë që përtypin VRAM-in

Momenti "pse VRAM është ende plot pasi ndaloj?"

Kornizat shpesh ruajnë memorien në memorje për performancë. Kjo është normale. Duket e frikshme, por nuk është gjithmonë një rrjedhje. Mëson të lexosh modelet. (Semantika PyTorch CUDA: përcaktuesi i memories në memorje)

Zakon praktik:

• Vëzhgoni memorien e alokuar kundrejt asaj të rezervuar (specifike për kornizën) (semantika PyTorch CUDA: alokuesi i memorjes në memorien e përkohshme)

• Mos u frikëso me numrin e parë të frikshëm 😅

8) Bëjeni GPU-në të funksionojë vërtet - rregullim i performancës që ia vlen kohës suaj 🏎️

Hapi i parë është vënia në punë e “trajnimit të GPU-së”. Hapi i dytë është përshpejtimi i tij

Optimizime me ndikim të lartë

• Rritni madhësinë e dozës (derisa të dhembë, pastaj uleni pak)

• Përdorni memorien e fiksuar në ngarkuesit e të dhënave (kopje më të shpejta nga host në pajisje) (Udhëzuesi i Akordimit të Performancës PyTorch, tutoriali PyTorch pin_memory/non_blocking)

• Rritni punëtorët e ngarkuesit të të dhënave (kujdes, shumë prej tyre mund të kenë efekte të kundërta) (Udhëzuesi i Akordimit të Performancës PyTorch)

• Prefetch bën grupe në mënyrë që GPU të mos qëndrojë në gjendje të papërdorshme

• Përdorni operacione të bashkuara / bërthama të optimizuara kur janë të disponueshme

• Përdorni precizion të përzier (përsëri, është kaq mirë) (dokumentet PyTorch AMP)

Pengesa më e anashkaluar

Tubacioni juaj i ruajtjes dhe përpunimit paraprak. Nëse të dhënat tuaja janë të mëdha dhe ruhen në një disk të ngadaltë, GPU-ja juaj bëhet një ngrohës hapësire i shtrenjtë. Një ngrohës hapësire shumë i përparuar dhe shumë i shndritshëm.

Gjithashtu, një rrëfim i vogël: Kam “optimizuar” një model për një orë vetëm për të kuptuar se logimi ishte pengesa. Printimi i tepërt mund ta ngadalësojë stërvitjen. Po, po.

9) Trajnim me shumë GPU - DDP, NCCL dhe shkallëzim pa kaos 🧩🤝

Pasi të dëshironi më shumë shpejtësi ose modele më të mëdha, zgjidhni shumë GPU. Këtu gjërat bëhen më të vështira.

Qasje të zakonshme

• Paralel i të Dhënave (DDP)

  • Ndani grupet midis GPU-ve, sinkronizoni gradientët

  • Zakonisht opsioni i parazgjedhur "i mirë" (dokumentet PyTorch DDP)

• Model Paralel / Tensor Paralel

  • Ndani modelin nëpër GPU (për modele shumë të mëdha)

• Tubacion paralel

  • Ndani shtresat e modelit në faza (si një linjë montimi, por për tenzorët)

Nëse jeni duke filluar, stërvitja në stilin DDP është zgjidhja ideale. (Tutoriali PyTorch DDP)

Këshilla praktike për shumë GPU

• Sigurohuni që GPU-të të jenë të ngjashme (përzierja mund të jetë pengesë)

• Shikoni ndërlidhjen: NVLink vs PCIe ka rëndësi për ngarkesat e punës me shumë sinkronizim (Përmbledhje e NVIDIA NVLink, Dokumentet e NVIDIA NVLink)

• Mbani të balancuara madhësitë e grupeve për GPU

• Mos e injoroni CPU-në dhe hapësirën e ruajtjes - shumë-GPU mund të përforcojnë bllokimet e të dhënave

Dhe po, gabimet e NCCL mund të ndihen si një enigmë e mbështjellë me një mister të mbështjellë me "pse tani". Nuk je i mallkuar. Ndoshta. (Përmbledhje e NCCL)

10) Monitorimi dhe profilizimi - gjërat jo tërheqëse që ju kursejnë orë të tëra 📈🧯

Nuk ke nevojë për panele të sofistikuara për të filluar. Duhet të vëresh kur diçka nuk shkon.

Sinjalet kryesore për t'u ndjekur

• Shfrytëzimi i GPU-së: a është vazhdimisht i lartë apo i mprehtë?

• Përdorimi i kujtesës: i qëndrueshëm, në ngjitje apo i çuditshëm?

• Konsumi i energjisë: jashtëzakonisht i ulët mund të nënkuptojë nënshfrytëzim

• Temperaturat: temperaturat e larta të qëndrueshme mund të ngadalësojnë performancën

• Përdorimi i CPU-së: problemet e tubacionit të të dhënave shfaqen këtu (Udhëzuesi i Akordimit të Performancës PyTorch)

Mentaliteti i profilizimit (version i thjeshtë)

• Nëse GPU ka përdorim të ulët - të dhëna ose bllokim i CPU-së

• Nëse GPU është e lartë por e ngadaltë - joefikasitet i bërthamës, precizion ose arkitekturë modeli

• Nëse shpejtësia e stërvitjes bie rastësisht - ngadalësim termik, procese në sfond, pengesa I/O

E di, monitorimi nuk duket aspak argëtues. Por është si përdorimi i fillit dentar. Bezdisëse, pastaj papritmas jeta juaj përmirësohet.

11) Zgjidhja e problemeve - dyshimet e zakonshme (dhe ato më pak të zakonshmet) 🧰😵💫

Ky seksion është në thelb: "të njëjtat pesë çështje, përgjithmonë"

Problem: CUDA nuk ka memorie të mjaftueshme

Rregullime:

• zvogëloni madhësinë e serisë

• përdorni precizion të përzier (dokumentet PyTorch AMP, udhëzuesi i precizionit të përzier TensorFlow)

• akumulimi i gradientit (dokumentet e trajnimit të Transformers (akumulimi i gradientit, fp16))

• aktivizimet e pikave të kontrollit (torch.utils.checkpoint)

• mbyll proceset e tjera të GPU-së

Problem: Trajnimi ekzekutohet aksidentalisht në CPU

Rregullime:

• sigurohuni që modeli të zhvendoset në CUDA

• sigurohuni që tensorët të zhvendosen në CUDA

• kontrolloni konfigurimin e pajisjes së kornizës (dokumentet PyTorch CUDA)

Problemi: Rrëzime të çuditshme ose akses i paligjshëm në memorie

Rregullime:

• konfirmo përputhshmërinë e drajverit + kohës së ekzekutimit (PyTorch Get Started (përzgjedhësi CUDA), instalimi i TensorFlow (pip))

• provo një mjedis të pastër

• zvogëloni operacionet e personalizuara

• riekzekutoni me cilësime deterministe për ta riprodhuar

Problemi: Më i ngadaltë se sa pritej

Rregullime:

• kontrolloni xhiros së ngarkuesit të të dhënave (Udhëzuesi i Akordimit të Performancës PyTorch)

• rrit madhësinë e serisë

• zvogëloni regjistrimin e të dhënave

• aktivizoni precizionin e përzier (dokumentet PyTorch AMP)

• ndarja kohore e hapave të profilit

Problem: Ngecje me shumë GPU

Rregullime:

• konfirmoni cilësimet e sakta të backend-it (dokumentet e shpërndara PyTorch)

• kontrolloni konfigurimet e mjedisit NCCL (me kujdes) (Përmbledhje e NCCL)

• testo së pari një GPU të vetme

• sigurohuni që rrjeti/ndërlidhja të jetë e shëndetshme

Një shënim i vogël për t'u kthyer prapa: ndonjëherë zgjidhja është fjalë për fjalë një rinisje. Ndihet qesharake. Funksionon. Kompjuterët janë të tillë.

12) Kostoja dhe praktikaliteti - zgjedhja dhe konfigurimi i duhur i GPU-së NVIDIA pa menduar shumë 💸🧠

Jo çdo projekt ka nevojë për GPU-në më të madhe. Ndonjëherë nevojitet e mjaftueshme .

Nëse po i përsosni modelet e mesme

• Jepini përparësi VRAM-it dhe stabilitetit

• Preciziteti i përzier ndihmon shumë (dokumentet PyTorch AMP, udhëzuesi i precizitetit të përzier TensorFlow)

• Shpesh mund t’ia dalësh mbanë me një GPU të vetme të fortë

Nëse po stërvitni modele më të mëdha nga e para

• Do të dëshironi GPU të shumta ose VRAM shumë të madh

• Do të interesoheni për NVLink dhe shpejtësinë e komunikimit (Përmbledhje e NVIDIA NVLink, Përmbledhje e NCCL)

• Me shumë mundësi do të përdorni optimizues të memories (ZeRO, shkarkim, etj.) (dokumentet e DeepSpeed ​​ZeRO, Microsoft Research: ZeRO/DeepSpeed)

Nëse po bëni eksperimente

• Ju dëshironi përsëritje të shpejtë

• Mos i shpenzo të gjitha paratë për GPU dhe pastaj mos i shtero hapësirën e ruajtjes dhe RAM-in

• Një sistem i ekuilibruar e mposht një sistem të pabarabartë (shumicën e ditëve)

Dhe në të vërtetë, mund të humbisni javë të tëra duke ndjekur zgjedhjet "perfekte" të pajisjeve. Ndërtoni diçka të realizueshme, matni dhe pastaj rregulloni. Armiku i vërtetë nuk është të kesh një lak reagimi.

Shënime përmbyllëse - Si të përdorni GPU-të NVIDIA për trajnim në IA pa humbur mendjen 😌✅

Nëse nuk keni mësuar asgjë tjetër nga ky udhëzues se si të përdorni GPU-të NVIDIA për trajnimin e inteligjencës artificiale, merrni këtë:

• Sigurohuni që nvidia-smi funksionon së pari (dokumentet e NVIDIA nvidia-smi)

• Zgjidhni një rrugë të pastër softuerësh (CUDA e përfshirë në framework është shpesh më e lehtë) (PyTorch Get Started (përzgjedhësi CUDA))

• Validoni një ekzekutim të vogël trajnimi GPU përpara se të shkallëzoni (torch.cuda.is_available)

• Menaxhoni VRAM-in sikur të ishte një raft i kufizuar në qilar

• Përdorni precizionin e përzier herët - nuk është thjesht "gjëra të përparuara" (dokumentet PyTorch AMP, udhëzuesi i precizionit të përzier TensorFlow)

• Nëse është i ngadaltë, dyshoni te ngarkuesi i të dhënave dhe I/O përpara se të fajësoni GPU-në (Udhëzuesi i Akordimit të Performancës PyTorch)

• Shumë-GPU është i fuqishëm, por shton kompleksitet - shkallëzojeni gradualisht (dokumentet PyTorch DDP, përmbledhje e NCCL)

• Monitoroni përdorimin dhe temperaturat në mënyrë që problemet të shfaqen herët (dokumentet NVIDIA nvidia-smi)

Stërvitja në GPU-të NVIDIA është një nga ato aftësi që të duket frikësuese, pastaj papritmas bëhet thjesht… normale. Si të mësosh të ngasësh makinën. Në fillim gjithçka është e zhurmshme dhe konfuze dhe e shtrëngon shumë fort timonin. Pastaj një ditë je duke ngarë makinën, duke pirë kafe dhe duke zgjidhur rastësisht një problem me madhësinë e një grupi sikur të mos ishte ndonjë gjë e madhe.

Shembull nga bota reale: Trajnimi i një klasifikuesi të vogël imazhesh në një GPU NVIDIA 🧪🖼️

Skenari

Imagjinoni një ekip të vogël të tregtisë elektronike që dëshiron të trajnojë një klasifikues imazhesh që i rendit fotot e produkteve në pesë kategori: këpucë, çanta, xhaketa, orë dore dhe aksesorë.

Ata nuk po trajnojnë një model gjigant nga e para. Ata po përsosin një model vizioni të para-trajnuar në një GPU të vetme NVIDIA, në mënyrë që ekipi të mund të testojë shpejt nëse ideja ia vlen të zgjerohet.

Qëllimi është i thjeshtë: të vërtetohet që konfigurimi i GPU-së funksionon, të shmanget kaosi CUDA dhe të ndërtohet një cikël trajnimi i përsëritshëm përpara se të shpenzohen para për pajisje më të mëdha ose për funksionime në cloud.

Çfarë i nevojitet konfigurimit

Për këtë lloj prove, do të dëshironit:

Një makinë me një GPU NVIDIA dhe VRAM të mjaftueshëm për madhësinë e serisë

Një drajver NVIDIA që funksionon është konfirmuar me nvidia-smi

Një mjedis i pastër Python për PyTorch, TensorFlow ose JAX

Një grup i vogël të dhënash imazhesh të etiketuara, idealisht i ndarë në dosje trajnimi, validimi dhe testimi

Një ekzekutim i kohës bazë të CPU-së për krahasim

Një fletë e thjeshtë regjistrimi me kohën e hapave, memorien GPU, shfrytëzimin e GPU-së, temperaturën dhe saktësinë e validimit

Përpara se të stërvitet siç duhet, ekipi duhet të kryejë një test të vogël CUDA smoke: të ngarkojë një grup, të zhvendosë modelin dhe grupin në CUDA, të kryejë një kalim përpara dhe të konfirmojë rritjen e memories së GPU-së në nvidia-smi.

Shembull udhëzimi

Një udhëzim praktik për projektin mund të duket kështu:

Trajnoni një klasifikues të vogël imazhi produkti duke përdorur një model të stilit ResNet të trajnuar paraprakisht. Së pari konfirmoni që nvidia-smi mund ta shohë GPU-në. Pastaj kryeni një test CUDA me një grup para trajnimit të plotë. Përdorni saktësi të përzier nëse mbështetet. Filloni me madhësinë e grupit 32, rriteni vetëm nëse memoria e GPU-së mbetet e qëndrueshme dhe regjistroni kohën e hapit, përdorimin e memories GPU, shfrytëzimin e GPU-së, temperaturën dhe saktësinë e validimit pas çdo ekzekutimi. Nëse shfaqet mesazhi "memoria e CUDA-së nuk është e mjaftueshme", zvogëloni madhësinë e grupit para se të ndryshoni modelin.

Si ta testoni

Një plan i arsyeshëm testimi do të ishte:

1. Ekzekutoni komandën nvidia-smi dhe regjistroni emrin e GPU-së, versionin e drajverit, përdorimin e memories në gjendje të papërdorur dhe temperaturën.

2. Kryeni një test CPU-je me një grup për të konfirmuar funksionimin e të dhënave dhe kodit të modelit.

3. Ekzekutoni të njëjtin test me një grup në Cuda.

4. Stërvituni për 200 hapa me madhësinë e grupit 32.

5. Përsëriteni me saktësi të përzier të aktivizuar.

6. Provoni madhësinë e serisë 64 vetëm nëse ekzekutimi i parë lë hapësirë ​​të mjaftueshme në VRAM.

7. Krahasoni saktësinë e validimit, kohën mesatare të hapave, VRAM-in maksimal dhe temperaturën e GPU-së.

Një rezultat i mirë nuk është thjesht "është stërvitur". Një rezultat i mirë është "është stërvitur në GPU, shpejtësia është përmirësuar, memoria ka mbetur e qëndrueshme dhe ekzekutimi mund të përsëritet nesër pa riinstaluar gjithçka".

Rezultati

Rezultati ilustrues, bazuar në kohën e tre testeve të vogla me 200 hapa para dhe pas zhvendosjes së trajnimit nga CPU në një GPU të vetme NVIDIA:

Niveli bazë vetëm për CPU: 3.4 sekonda për hap trajnimi

GPU me FP32: 0.42 sekonda për hap stërvitjeje

GPU me precizion të përzier: 0.28 sekonda për hap stërvitjeje

Memorie GPU maksimale me madhësi serie 32: 5.8 GB

Memoria GPU maksimale me madhësi serie 64: 10.9 GB

Madhësia e serisë 96: dështoi për shkak të mungesës së kujtesës së CUDA-s

Shfrytëzimi i GPU-së gjatë ekzekutimeve të qëndrueshme: 76% deri në 91%

Temperatura gjatë punimeve të qëndrueshme: 67°C deri në 73°C

Saktësia e validimit pas testit të shkurtër: 82% me FP32, 82.4% me saktësi të përzier

Në këtë shembull vlerësimi, preciziteti i përzier uli kohën e hapave me rreth 33% krahasuar me ekzekutimin e GPU-së FP32, duke e mbajtur saktësinë e validimit afërsisht të njëjtë. Ekipi mundi t'i verifikonte këto numra duke matur kohën e çdo hapi trajnimi, duke kontrolluar nvidia-smi gjatë ekzekutimit dhe duke ruajtur saktësinë e validimit pas çdo testi.

Çfarë mund të shkojë keq

Gabimi më i zakonshëm është shkallëzimi shumë herët. Nëse testi CUDA me një grup dështon, një ekzekutim i plotë trajnimi nuk do ta rregullojë atë në mënyrë magjike.

Kurthe të tjera të lehta:

Instalimi i versioneve të shumta CUDA dhe mosdija se cilin po përdor framework-u

Zhvendosja e modelit në CUDA, por lënia e batch-eve në CPU

Zgjedhja e një madhësie grupi që përshtatet një herë, por rrëzohet pas disa hapash

Injorimi i proceseve të tjera që tashmë përdorin VRAM

Fajësimi i GPU-së kur ngarkuesi i të dhënave është shumë i ngadaltë

Krahasimi i ekzekutimeve të CPU-së dhe GPU-së pa përdorur të njëjtin grup të dhënash, madhësi grupi dhe model

Një njeri duhet të shqyrtojë edhe parashikimet e para. Trajnimi i shpejtë ka pak vlerë nëse etiketat janë të zhurmshme, klasat janë të pabalancuara ose modeli po mëson shkurtesa si ngjyra e sfondit në vend të llojit të produktit.

Përgatitje praktike për të marrë me vete

Një rrjedhë pune e besueshme trajnimi për GPU-në NVIDIA fillon me hapa të vegjël: provoni që drajveri funksionon, provoni që CUDA funksionon, provoni që një grup funksionon, pastaj shkallëzoni gradualisht madhësinë e grupit dhe gjatësinë e trajnimit. Konfigurimi më i shpejtë nuk është ai me GPU-në më mbresëlënëse në letër - është ai që ju jep punime të qëndrueshme dhe të matshme pa humbur orë të tëra në probleme të shmangshme me versionin, VRAM-in dhe ngarkuesin e të dhënave.

Pyetje të shpeshta

Çfarë do të thotë të trajnosh një model AI në një GPU NVIDIA

Trajnimi në një GPU NVIDIA do të thotë që parametrat e modelit tuaj dhe grupet e trajnimit ruhen në GPU VRAM, dhe llogaritjet e rënda (kalimi përpara, prapambetja, hapat e optimizuesit) ekzekutohen përmes bërthamave CUDA. Në praktikë, kjo shpesh varet nga sigurimi që modeli dhe tenzorët të qëndrojnë në CUDA, pastaj nga mbajtja nën kontroll e memories, shfrytëzimit dhe temperaturave në mënyrë që rendimenti të mbetet i qëndrueshëm.

Si të verifikoni që një GPU NVIDIA po funksionon para se të instaloni ndonjë gjë tjetër

Filloni me nvidia-smi. Duhet të tregojë emrin e GPU-së, versionin e drajverit, përdorimin aktual të memories dhe çdo proces që është në funksion. Nëse nvidia-smi dështon, prisni PyTorch/TensorFlow/JAX - rregulloni së pari dukshmërinë e drajverit. Është kontrolli bazë "a është furra e lidhur në prizë" për trajnimin e GPU-së.

Zgjedhja midis CUDA-s së sistemit dhe CUDA-s së përfshirë me PyTorch

Një qasje e zakonshme është përdorimi i CUDA-s së përfshirë në framework (si shumë rrota PyTorch) sepse zvogëlon pjesët lëvizëse - kryesisht ju nevojitet një drajver i pajtueshëm NVIDIA. Instalimi i të gjithë sistemit CUDA toolkit ofron më shumë kontroll (ndërtime të personalizuara, kompilim operacionesh), por gjithashtu sjell më shumë mundësi për mospërputhje versionesh dhe gabime ngatërruese të kohës së ekzekutimit.

Pse stërvitja mund të jetë ende e ngadaltë edhe me një GPU NVIDIA

Shpesh, GPU-ja nuk ka shumë energji për të dhënat hyrëse. Ngarkuesit e të dhënave që vonohen, përpunimi paraprak i rëndë i CPU-së brenda hapit të trajnimit, madhësitë e vogla të grupeve ose ruajtja e ngadaltë mund të bëjnë që një GPU e fuqishme të sillet si një ngrohës hapësire në gjendje të papërgatitur. Rritja e punonjësve të ngarkuesit të të dhënave, aktivizimi i memories së fiksuar, shtimi i para-kërkimit dhe shkurtimi i regjistrimit janë lëvizjet e para të zakonshme përpara se të fajësohet modeli.

Si të parandaloni gabimet "CUDA out of memory" gjatë trajnimit të GPU-së NVIDIA

Shumica e rregullimeve janë taktika VRAM: zvogëloni madhësinë e serisë, aktivizoni precizionin e përzier (FP16/BF16), përdorni akumulimin e gradientit, shkurtoni gjatësinë e sekuencës/madhësinë e prerjes ose përdorni kontrollin e aktivizimit. Kontrolloni gjithashtu për procese të tjera GPU që konsumojnë memorie. Disa prova dhe gabime janë normale - buxhetimi i VRAM bëhet një zakon thelbësor në trajnimin praktik të GPU-së.

Pse VRAM mund të duket ende i plotë pasi të përfundojë një skript trajnimi

Kornizat shpesh ruajnë memorien GPU për shpejtësi, kështu që memoria e rezervuar mund të mbetet e lartë edhe kur memoria e alokuar bie. Mund të ngjajë me një rrjedhje, por shpesh është caktuesi i memories së përkohshme që sillet siç është projektuar. Zakoni praktik është të gjurmohet modeli me kalimin e kohës dhe të krahasohen "të alokuara kundrejt të rezervuara" në vend që të përqendrohemi në një pamje të vetme alarmante.

Si të konfirmoni që një model nuk po trajnohet në heshtje në CPU

Kontroll i hershëm i gjendjes mendore: konfirmo që torch.cuda.is_available() kthen True, verifiko next(model.parameters()).device shfaq cudadhe ekzekuton një kalim të vetëm përpara pa gabime. Nëse performanca duket e ngadaltë në mënyrë të dyshimtë, konfirmo gjithashtu që batch-et tuaja po zhvendosen në GPU. Është e zakonshme që modeli të zhvendoset dhe të lihen aksidentalisht të dhënat pas.

Rruga më e thjeshtë drejt trajnimit me shumë GPU

Paralelizimi i të Dhënave (trajnimi në stilin DDP) është shpesh hapi i parë më i mirë: ndarja e grupeve midis GPU-ve dhe sinkronizimi i gradientëve. Mjete si Accelerate mund ta bëjnë shumë-GPU më pak të dhimbshme pa një rishkrim të plotë. Prisni variabla shtesë - komunikimi NCCL, ndryshimet e ndërlidhjes (NVLink vs PCIe) dhe pengesat e amplifikuara të të dhënave - kështu që shkallëzimi gradual pas një ekzekutimi të fortë me një GPU të vetme tenton të shkojë më mirë.

Çfarë duhet të monitorohet gjatë trajnimit të GPU-së NVIDIA për të kapur problemet herët

Shikoni shfrytëzimin e GPU-së, përdorimin e memories (të qëndrueshme kundrejt rritjes), konsumin e energjisë dhe temperaturat - ngadalësimi mund ta ulë shpejtësinë në heshtje. Mbani një sy edhe në përdorimin e CPU-së, pasi problemet me kanalin e të dhënave shpesh shfaqen atje së pari. Nëse shfrytëzimi është i lartë ose i ulët, dyshoni për I/O ose ngarkues të të dhënave; nëse është i lartë, por koha e hapave është ende e ngadaltë, profiloni bërthamat, modalitetin e precizitetit dhe ndarjen e kohës së hapave.

Referencat

1. NVIDIA - Dokumentet e NVIDIA nvidia-smi - docs.nvidia.com

2. NVIDIA - Ndërfaqja e Menaxhimit të Sistemit NVIDIA (NVSMI) - developer.nvidia.com

3. NVIDIA - Përmbledhje e NVIDIA NVLink - nvidia.com

4. PyTorch - PyTorch Fillimi (përzgjedhësi CUDA) - pytorch.org

5. PyTorch - Dokumentet CUDA të PyTorch - docs.pytorch.org

6. TensorFlow - Instalimi i TensorFlow (pip) - tensorflow.org

7. JAX - Nisje e Shpejtë JAX - docs.jax.dev

8. Fytyrë përqafuese - Dokumente për trajnerin - huggingface.co

9. AI i Rrufejes - Dokumentet e Rrufejes - lightning.ai

10. DeepSpeed ​​- Dokumentet ZeRO - deepspeed.readthedocs.io

11. Microsoft Research - Microsoft Research: ZeRO/DeepSpeed ​​- microsoft.com

12. Forumet PyTorch - Forumi PyTorch: kontrolloni modelin në CUDA - discuss.pytorch.org

Gjeni IA-në më të fundit në Dyqanin Zyrtar të Asistentëve të IA-së

Rreth Nesh