Çfarë është shkallëzueshmëria e inteligjencës artificiale?

Nëse keni parë ndonjëherë një model demo që shtyp një ngarkesë të vogël testimi dhe më pas ngrin në momentin që shfaqen përdorues të vërtetë, e keni takuar të keqin: shkallëzimin. IA është lakmitare - për të dhëna, llogaritje, memorie, bandwidth - dhe çuditërisht, për vëmendje. Pra, çfarë është në të vërtetë Shkallëzueshmëria e IA-së dhe si e merrni atë pa rishkruar gjithçka çdo javë?

Artikuj që mund t'ju pëlqejnë të lexoni pas këtij:

🔗 Çfarë është paragjykimi i inteligjencës artificiale, i shpjeguar thjesht?
Mësoni se si paragjykimet e fshehura formësojnë vendimet e inteligjencës artificiale dhe modelojnë rezultatet.

🔗 Udhëzues për fillestarët: çfarë është inteligjenca artificiale
Përmbledhje e IA-së, konceptet kryesore, llojet dhe zbatimet e përditshme.

🔗 Çfarë është inteligjenca artificiale e shpjegueshme dhe pse ka rëndësi
Zbuloni se si inteligjenca artificiale e shpjegueshme rrit transparencën, besimin dhe pajtueshmërinë rregullatore.

🔗 Çfarë është inteligjenca artificiale parashikuese dhe si funksionon ajo
Kuptoni inteligjencën artificiale parashikuese, rastet e përdorimit të zakonshëm, përfitimet dhe kufizimet.

Çfarë është shkallëzueshmëria e inteligjencës artificiale? 📈

Shkallëzueshmëria e IA-së është aftësia e një sistemi IA për të trajtuar më shumë të dhëna, kërkesa, përdorues dhe raste përdorimi, duke mbajtur performancën, besueshmërinë dhe kostot brenda kufijve të pranueshëm. Jo vetëm servera më të mëdhenj - arkitektura më të zgjuara që mbajnë vonesën të ulët, rendimentin e lartë dhe cilësinë të qëndrueshme ndërsa kurba ngjitet. Mendoni për infrastrukturën elastike, modelet e optimizuara dhe vëzhgueshmërinë që ju tregon në të vërtetë se çfarë është në punë.

Çfarë e bën të mirë shkallëzueshmërinë e inteligjencës artificiale ✅

Kur shkallëzueshmëria e inteligjencës artificiale (IA) bëhet mirë, ju merrni:

• Latenci e parashikueshme nën ngarkesë të mprehtë ose të qëndrueshme 🙂

• Prodhueshmëria që rritet afërsisht në përpjesëtim me shtimin e pajisjeve ose kopjeve

• Efikasitet kostoje që nuk rritet sipas kërkesës

• Stabiliteti i cilësisë ndërsa inputet diversifikohen dhe vëllimet rriten

• Qetësi operacionale falë autoshkallëzimit, gjurmimit dhe SLO-ve të arsyeshme

Në brendësi kjo zakonisht përzien shkallëzimin horizontal, grumbullimin, ruajtjen në memorje, kuantizimin, shërbimin e fuqishëm dhe politikat e menduara të publikimit të lidhura me buxhetet e gabimeve [5].

Shkallëzueshmëria e IA-së kundrejt performancës kundrejt kapacitetit 🧠

• Performanca është se sa shpejt përfundon një kërkesë e vetme në izolim.

• Kapaciteti është sa nga ato kërkesa mund të trajtoni në të njëjtën kohë.

• Shkallëzueshmëria e IA-së ka të bëjë me rritjen e kapacitetit dhe mbajtjen e performancës të qëndrueshme, pa rritur faturën ose pagerin tuaj.

Dallim i vogël, pasoja gjigante.

Pse shkallëzimi funksionon fare në IA: ideja e ligjeve të shkallëzimit 📚

Një njohuri e përdorur gjerësisht në ML moderne është se humbja përmirësohet në mënyra të parashikueshme ndërsa shkallëzoni madhësinë e modelit, të dhënat dhe llogaritjet - brenda arsyes. Ekziston gjithashtu një ekuilibër optimal për llogaritjen midis madhësisë së modelit dhe tokenëve të trajnimit; shkallëzimi i të dyjave së bashku është më i mirë se shkallëzimi vetëm i njërit. Në praktikë, këto ide informojnë buxhetet e trajnimit, planifikimin e të dhënave dhe kompromiset e shërbimit [4].

Përkthim i shpejtë: më e madhja mund të jetë më mirë, por vetëm kur i shkallëzon të dhënat hyrëse dhe i llogarit në përpjesëtim - përndryshe është si të vendosësh goma traktori në një biçikletë. Duket intensive, nuk të çon askund.

Horizontale vs. vertikale: dy levat e shkallëzimit 🔩

• Shkallëzimi vertikal : kuti më të mëdha, GPU më të fuqishme, më shumë memorie. E thjeshtë, ndonjëherë e kushtueshme. E mirë për trajnim me një nyje të vetme, inferencë me vonesë të ulët ose kur modeli juaj refuzon të copëtohet mirë.

• Shkallëzimi horizontal : më shumë kopje. Funksionon më mirë me autoscaler-at që shtojnë ose heqin pod-e bazuar në CPU/GPU ose metrika të aplikacioneve të personalizuara. Në Kubernetes, HorizontalPodAutoscaler i shkallëzon pod-et në përgjigje të kërkesës - kontrolli juaj bazë i turmës për rritjet e trafikut [1].

Anekdotë (e përbërë): Gjatë një lançimi të profilit të lartë, thjesht aktivizimi i grumbullimit nga ana e serverit dhe lejimi i autoscaler-it të reagojë ndaj thellësisë së radhës të stabilizuar p95 pa ndonjë ndryshim të klientit. Fitimet e paqarta janë prapë fitore.

Paketa e plotë e shkallëzueshmërisë së inteligjencës artificiale 🥞

1. Shtresa e të dhënave : depo të shpejta objektesh, indekse vektoriale dhe gëlltitje transmetimi që nuk do t'i mbingarkojnë trajnerët tuaj.

2. Shtresa e trajnimit : korniza të shpërndara dhe planifikues që trajtojnë paralelizmin e të dhënave/modelit, pikat e kontrollit, ripërpjekjet.

3. Shtresa e shërbimit : kohëzgjatje të optimizuara ekzekutimi, grumbullim dinamik , vëmendje e faqosur për LLM-të, ruajtje në memorje, transmetim token-esh. Triton dhe vLLM janë heronj të shpeshtë këtu [2][3].

4. Orkestrimi : Kubernetes për elasticitet nëpërmjet HPA ose autoscaler-ave të personalizuar [1].

5. Vëzhgueshmëria : gjurmë, metrika dhe regjistra që ndjekin udhëtimet e përdoruesit dhe modelojnë sjelljen në produkt; dizajnojini ato rreth SLO-ve tuaja [5].

6. Qeverisja dhe kostoja : ekonomia për kërkesë, buxhetet dhe ndërprerësit për ngarkesat e punës që nuk lejohen.

Tabela krahasuese: mjete dhe modele për shkallëzueshmërinë e inteligjencës artificiale 🧰

Pak e pabarabartë me qëllim - sepse jeta reale është.

Zhytje e thellë 1: Truke servirjeje që lëvizin gjilpërën 🚀

• Grumbullimi dinamik i grupeve të vogla të thirrjeve të inferencës në grupe më të mëdha në server, duke rritur ndjeshëm shfrytëzimin e GPU-së pa ndryshime në klient [2].

• Vëmendja e faqosur mban shumë më tepër biseda në memorie duke faqosur memorjet e fshehta KV, gjë që përmirëson rendimentin në kushte të njëkohshme [3].

• Kërko bashkimin dhe ruajtjen në memorje për kërkesa ose ngulitje identike për të shmangur punën e dyfishtë.

• Dekodimi spekulativ dhe transmetimi i tokenëve zvogëlojnë vonesën e perceptuar, edhe nëse ora e murit mezi lëviz.

Zhytje e thellë 2: Efikasitet në nivel modeli - kuantifiko, distilo, krasit 🧪

• Kuantizimi zvogëlon saktësinë e parametrave (p.sh., 8-bit/4-bit) për të zvogëluar kujtesën dhe për të përshpejtuar nxjerrjen e përfundimeve; gjithmonë rivlerësoni cilësinë e detyrës pas ndryshimeve.

• Distilimi transferon njohuritë nga një mësues i madh te një student më i vogël që hardueri juaj në të vërtetë i pëlqen.

• Krasitja e strukturuar shkurton peshat/kokat që kontribuojnë më pak.

Të jemi të sinqertë, është pak si të zvogëlosh valixhen dhe pastaj të këmbëngulësh që të gjitha këpucët të të rrinë akoma. Në një farë mënyre, kryesisht, kështu ndodh.

Zhytje e thellë 3: Shkallëzimi i të dhënave dhe trajnimit pa lot 🧵

• Përdorni trajnim të shpërndarë që fsheh pjesët e vështira të paralelizmit, në mënyrë që të mund të kryeni eksperimentet më shpejt.

• Mbani mend ato ligje të shkallëzimit : ndani buxhetin sipas madhësisë së modelit dhe tokenëve me kujdes; shkallëzimi i të dyjave së bashku është efikas në llogaritje [4].

• Kurrikula dhe cilësia e të dhënave shpesh ndikojnë në rezultatet më shumë sesa e pranojnë njerëzit. Të dhënat më të mira ndonjëherë janë më të mira se më shumë të dhëna - edhe nëse e keni renditur tashmë grupin më të madh.

Zhytje e thellë 4: RAG si një strategji shkallëzimi për njohuritë 🧭

Në vend që të ritrajnojë një model për të qenë në hap me ndryshimin e fakteve, RAG shton një hap rikthimi në inferencë. Ju mund ta mbani modelin të qëndrueshëm dhe të shkallëzoni indeksin dhe rikthyesit ndërsa korpusi juaj rritet. Elegant - dhe shpesh më i lirë se ritrajnimet e plota për aplikacionet me shumë njohuri.

Vëzhgueshmëri që ia vlen vetes 🕵️♀️

Nuk mund ta shkallëzosh atë që nuk mund ta shohësh. Dy gjëra thelbësore:

• Metrika për planifikimin e kapacitetit dhe shkallëzimin automatik: përqindjet e latencës, thellësitë e radhës, memoria GPU, madhësitë e grupeve, xhiroja e tokenëve, shkalla e goditjeve në memorjen e përkohshme.

• Gjurmët që ndjekin një kërkesë të vetme përgjatë portës hyrëse → rikthimit → modelit → përpunimit të mëvonshëm. Lidhni atë që matni me SLO-të tuaja në mënyrë që panelet t'u përgjigjen pyetjeve në më pak se një minutë [5].

Kur panelet u përgjigjen pyetjeve në më pak se një minutë, njerëzit i përdorin ato. Kur nuk i përdorin, ata bëjnë sikur i përdorin.

Mbrojtëse të besueshmërisë: SLO, buxhete gabimesh, implementime të arsyeshme 🧯

• Përcaktoni SLO-të për vonesën, disponueshmërinë dhe cilësinë e rezultateve, dhe përdorni buxhetet e gabimeve për të balancuar besueshmërinë me shpejtësinë e publikimit [5].

• Vendosu pas ndarjeve të trafikut, bëj kanarina dhe kryej teste hijesh para ndërprerjeve globale. Vetja jote e ardhshme do të dërgojë ushqime të lehta.

Kontroll i kostos pa dramë 💸

Shkallëzimi nuk është vetëm teknik; është edhe financiar. Trajtojini orët dhe tokenët e GPU-së si burime të klasit të parë me ekonomi njësie (kosto për 1 mijë token, për ngulitje, për pyetje vektoriale). Shtoni buxhete dhe njoftime; festoni fshirjen e gjërave.

Një udhërrëfyes i thjeshtë për shkallëzueshmërinë e inteligjencës artificiale 🗺️

1. Filloni me SLO-të për vonesën p95, disponueshmërinë dhe saktësinë e detyrës; transmetojini metrikat/gjurmimet që në ditën e parë [5].

2. Zgjidhni një pirg servirjesh që mbështet grumbullimin në sasi dhe grumbullimin e vazhdueshëm: Triton, vLLM ose ekuivalente [2][3].

3. Optimizoni modelin : kuantizoni aty ku ndihmon, aktivizoni bërthama më të shpejta ose distiloni për detyra specifike; validoni cilësinë me vlerësime reale.

4. Arkitekt për elasticitet : Kubernetes HPA me sinjalet e duhura, shtigje të ndara leximi/shkrimi dhe kopje të nxjerrjes së përfundimeve pa gjendje [1].

5. Përdorni rikthimin kur freskia ka rëndësi, në mënyrë që të shkallëzoni indeksin tuaj në vend që të ritrajnoni çdo javë.

6. Mbyllni ciklin me koston : vendosni ekonominë e njësisë dhe rishikimet javore.

Mënyrat e zakonshme të dështimeve dhe zgjidhjet e shpejta 🧨

• GPU në 30% shfrytëzim ndërsa latenca është e keqe

  • Aktivizoni grumbullimin dinamik , rritni me kujdes kufijtë e grumbullimit dhe kontrolloni përsëri paralelitetin e serverit [2].

• Prodhueshmëria bie me kërkesa të gjata

  • Përdorni shërbim që mbështet vëmendjen e faqosur dhe akordoni sekuencat maksimale të njëkohshme [3].

• Flapë automatike shkallëzuese

  • Metrika të zbutura me dritare; shkallëzoni thellësinë e radhës ose përdorni token-e të personalizuara për sekondë në vend të CPU-së së pastër [1].

• Kostot shpërthejnë pas lançimit

  • Shtoni metrika të kostos në nivel kërkese, aktivizoni kuantizimin aty ku është e sigurt, ruani në memorje pyetjet kryesore dhe kufizoni shkallën e shkeljeve më të këqija.

Manuali i Shkallëzueshmërisë së IA-së: listë e shpejtë kontrolli ✅

• SLO-të dhe buxhetet e gabimeve ekzistojnë dhe janë të dukshme

• Metrika: latenca, tps, memoria GPU, madhësia e serisë, token/s, goditja e memorjes cache

• Gjurmët nga hyrja në model dhe pas-procesimit

• Shërbyerja: paketimi i vazhdueshëm, akordimi i njëkohshëm, memorjet e ngrohta të memorjes

• Modeli: i kuantizuar ose i distiluar aty ku ndihmon

• Infra: HPA e konfiguruar me sinjalet e duhura

• Rruga e rikuperimit për freskinë e njohurive

• Ekonomia e njësisë rishikohet shpesh

Shumë gjatë nuk e lexova dhe vërejtje përfundimtare 🧩

Shkallëzueshmëria e IA-së nuk është një veçori e vetme apo një çelës sekret. Është një gjuhë modeli: shkallëzim horizontal me auto-shkallëzues, grumbullim nga ana e serverit për përdorim, efikasitet në nivel modeli, rikthim për të shpërndarë njohuritë dhe vëzhgueshmëri që i bën lançimet të mërzitshme. Shtoni SLO dhe higjienë kostoje për t'i mbajtur të gjithë të lidhur. Nuk do ta keni perfekt që në herën e parë - askush nuk e bën - por me sythet e duhura të reagimit, sistemi juaj do të rritet pa atë ndjesinë e djersitjes së ftohtë në orën 2 të mëngjesit 😅

Referencat

[1] Dokumentet e Kubernetes - Shkallëzimi Automatik i Pod-it Horizontal - lexo më shumë
[2] NVIDIA Triton - Batcher Dinamik - lexo më shumë
[3] Dokumente vLLM - Vëmendje e faqosur - lexo më shumë
[4] Hoffmann et al. (2022) - Trajnimi i Modeleve të Gjuhës së Madhe Optimale Llogaritëse - lexo më shumë
[5] Libri i punës Google SRE - Implementimi i SLO-ve - lexo më shumë

Gjeni IA-në më të fundit në Dyqanin Zyrtar të Asistentëve të IA-së

Rreth Nesh