Çfarë është përpunimi paraprak i inteligjencës artificiale? [Video dhe kuiz]

Përgjigje e shkurtër: Para-përpunimi i inteligjencës artificiale është një sërë hapash të përsëritshëm që i shndërron të dhënat e papërpunuara me variancë të lartë në të dhëna të qëndrueshme të modelit, duke përfshirë pastrimin, kodimin, shkallëzimin, tokenizimin dhe transformimet e imazhit. Kjo ka rëndësi sepse nëse të dhënat e trajnimit dhe të dhënat e prodhimit ndryshojnë, modelet mund të dështojnë në heshtje. Nëse një hap "mëson" parametra, përshtateni atë vetëm në të dhënat e trajnimit për të shmangur rrjedhjen.

Përpunimi paraprak i inteligjencës artificiale është gjithçka që ju bëni me të dhënat e papërpunuara para (dhe ndonjëherë gjatë) trajnimit ose nxjerrjes së përfundimeve, në mënyrë që një model të mësojë prej tyre. Jo vetëm "pastrim". Është pastrim, formësim, shkallëzim, kodim, shtim dhe paketim i të dhënave në një përfaqësim të qëndrueshëm që nuk do ta prishë modelin tuaj në heshtje më vonë. [1]

Përmbledhjet kryesore:

Përkufizimi: Para-përpunimi konverton tabelat e papërpunuara, tekstin, imazhet dhe regjistrat në veçori të gatshme për model.

Konsistenca: Aplikoni të njëjtat transformime gjatë trajnimit dhe nxjerrjes së përfundimeve për të parandaluar dështimet e mospërputhjes.

Rrjedhje: Vendosni shkallëzuesit, enkoduesit dhe tokenizuesit vetëm në të dhënat e trajnimit.

Riprodhueshmëria: Ndërtoni kanale me statistika të inspektueshme, jo sekuenca qelizash ad-hoc në fletore.

Monitorimi i prodhimit: Gjurmoni animin dhe devijimin në mënyrë që inputet të mos e shkatërrojnë gradualisht performancën.

Artikuj që mund t'ju pëlqejnë të lexoni pas këtij:

🔗 Si të testoni modelet e IA-së për performancën në botën reale
Metoda praktike për të vlerësuar shpejt saktësinë, qëndrueshmërinë dhe paragjykimin.

🔗 A është IA tekst-në-fjalë dhe si funksionon?
Shpjegon bazat e TTS, përdorimet kryesore dhe kufizimet e zakonshme sot.

🔗 A mund ta lexojë inteligjenca artificiale shkrimin kursiv me saktësi sot?
Mbulon sfidat e njohjes, mjetet më të mira dhe këshilla për saktësinë.

🔗 Sa e saktë është inteligjenca artificiale në detyrat e zakonshme
Zbërthen faktorët e saktësisë, standardet dhe besueshmërinë në botën reale.

Përpunimi paraprak i inteligjencës artificiale në gjuhë të thjeshtë (dhe çfarë nuk është) 🤝

Përpunimi paraprak i inteligjencës artificiale është transformimi i të dhënave të papërpunuara (tabela, tekst, imazhe, regjistra) në veçori të gatshme për model. Nëse të dhënat e papërpunuara janë një garazh i rrëmujshëm, përpunimi paraprak është etiketimi i kutive, hedhja e mbeturinave të thyera dhe grumbullimi i gjërave në mënyrë që të mund të ecni pa u lënduar.

Nuk është vetë modeli. Janë gjërat që e bëjnë modelin të mundur:

• shndërrimi i kategorive në numra (një-numër, rendor, etj.) [1]

• shkallëzimi i diapazoneve të mëdha numerike në diapazone të arsyeshme (standardizimi, min-max, etj.) [1]

• tokenizimi i tekstit në ID hyrëse (dhe zakonisht një maskë vëmendjeje) [3]

• ndryshimi i madhësisë/prerja e imazheve dhe zbatimi i transformimeve deterministike kundrejt atyre të rastësishme në mënyrë të përshtatshme [4]

• ndërtimi i kanaleve të përsëritshme në mënyrë që trajnimi dhe të dhënat e "jetës reale" të mos ndryshojnë në mënyra delikate [2]

Një shënim i vogël praktik: "përpunimi paraprak" përfshin çdo gjë që ndodh vazhdimisht përpara se modeli të shohë të dhënat hyrëse. Disa ekipe e ndajnë këtë në "inxhinieri veçorish" kundrejt "pastrimit të të dhënave", por në jetën reale këto vija kufitare janë të turbullta. 

Pse përpunimi paraprak i inteligjencës artificiale ka më shumë rëndësi sesa e pranojnë njerëzit 😬

Një model është një përputhës modelesh, jo një lexues mendjesh. Nëse të dhënat tuaja janë të paqëndrueshme, modeli mëson rregulla të paqëndrueshme. Kjo nuk është filozofike, është dhimbshëm fjalë për fjalë.

Përpunimi paraprak ju ndihmon:

• Përmirësoni stabilitetin e të nxënit duke vendosur karakteristika në përfaqësime që vlerësuesit mund t'i përdorin në mënyrë të besueshme (veçanërisht kur përfshihet shkallëzimi/kodifikimi). [1]

• Zvogëloni zhurmën duke e bërë realitetin e çrregullt të duket si diçka nga e cila një model mund të përgjithësojë (në vend që të mësoni përmendësh objekte të çuditshme).

• Parandaloni mënyrat e heshtura të dështimit si rrjedhjet dhe mospërputhjet e trajnimit/shërbimit (lloji që duket "i mrekullueshëm" në validim dhe më pas në mbjelljen e fytyrës në prodhim). [2]

• Përshpejtoni përsëritjen sepse transformimet e përsëritshme i tejkalojnë spagetit e fletoreve të shënimeve çdo ditë të javës.

Gjithashtu, është vendi nga ku vjen në të vërtetë shumë nga “performanca e modelit”. Si… çuditërisht shumë. Ndonjëherë duket e padrejtë, por ky është realiteti 🙃

Çfarë e bën një tubacion të mirë të parapërpunimit të inteligjencës artificiale ✅

Një "version i mirë" i parapërpunimit zakonisht ka këto cilësi:

• Riprodhueshëm: i njëjti hyrje → i njëjti dalje (pa rastësi misterioze përveç nëse është shtim i qëllimshëm).

• Konsistenca e shërbimit të trajnimit: çfarëdo që bëni në kohën e trajnimit zbatohet në të njëjtën mënyrë në kohën e nxjerrjes së përfundimeve (të njëjtat parametra të përshtatur, të njëjtat harta kategorish, të njëjtat konfigurime tokenizuesi, etj.). [2]

• I sigurt ndaj rrjedhjeve: asgjë në vlerësim/test nuk ndikon në asnjë përshtatjeje . (Më shumë rreth këtij kurthi më poshtë.) [2]

• I vëzhgueshëm: mund të inspektosh se çfarë ka ndryshuar (statistikat e veçorive, mungesat, numri i kategorive) kështu që korrigjimi i gabimeve nuk është inxhinieri e bazuar në vibrante.

Nëse përpunimi juaj paraprak është një grumbull qelizash fletoresh të quajtura final_v7_really_final_ok… e dini si është. Funksionon derisa të mos funksionojë më 😬

Blloqet kryesore të ndërtimit të parapërpunimit të inteligjencës artificiale 🧱

Mendoni për përpunimin paraprak si një grup blloqesh ndërtimi që i kombinoni në një tubacion.

1) Pastrim dhe vlerësim 🧼

Detyrat tipike:

• hiq dublikatat

• trajto vlerat që mungojnë (hiq, imputo ose përfaqësoj në mënyrë eksplicite mungesën)

• zbatoni llojet, njësitë dhe diapazonet

• zbuloni hyrjet e keqformuara

• standardizon formatet e tekstit (hapësirë ​​të bardhë, rregulla të shkronjave të mëdha, veçori të Unicode-it)

Kjo pjesë nuk është joshëse, por parandalon gabime jashtëzakonisht të pamenduara. E them këtë me dashuri.

2) Kodimi i të dhënave kategorike 🔤

Shumica e modeleve nuk mund të përdorin drejtpërdrejt vargje të papërpunuara si "red" ose "premium_user".

Qasjet e zakonshme:

• Kodimim me një të dhënë (kategoria → kolona binare) [1]

• Kodimi rendor (kategoria → ID e numrit të plotë) [1]

Gjëja kryesore nuk është se cilin kodues zgjidhni, por që hartëzimi të mbetet konsistent dhe të mos "ndryshojë formë" midis trajnimit dhe nxjerrjes së përfundimeve. Kështu përfundoni me një model që duket mirë jashtë linje dhe sillet si i përhumbur në internet. [2]

3) Shkallëzimi dhe normalizimi i veçorive 📏

Shkallëzimi ka rëndësi kur veçoritë jetojnë në diapazone krejtësisht të ndryshme.

Dy klasike:

• Standardizimi: hiq mesataren dhe shkallëzo variancën në njësi [1]

• Shkallëzimi minimal-maksimal: shkallëzoni çdo veçori në një diapazon të specifikuar [1]

Edhe kur përdorni modele që "kryesisht përballojnë", shkallëzimi shpesh i bën tubacionet më të lehta për t'u arsyetuar - dhe më të vështira për t'u prishur aksidentalisht.

4) Inxhinieri karakteristikash (e njohur edhe si mashtrim i dobishëm) 🧪

Këtu e lehtësoni punën e modelit duke krijuar sinjale më të mira:

• raportet (klikime / përshtypje)

• dritare rrotulluese (N ditët e fundit)

• numërimet (ngjarjet për përdorues)

• transformime logaritmike për shpërndarje me bisht të rëndë

Ka një art këtu. Ndonjëherë krijon një reportazh, ndihesh krenar… dhe nuk bën asgjë. Ose më keq, të dhemb. Kjo është normale. Mos u lidh emocionalisht me reportazhet - ato nuk të duan mbrapsht 😅

5) Ndarja e të dhënave në mënyrën e duhur ✂️

Kjo tingëllon e qartë derisa të mos jetë më:

• ndarje të rastësishme për të dhënat iid

• ndarje të bazuara në kohë për seritë kohore

• ndarje të grupuara kur entitetet përsëriten (përdoruesit, pajisjet, pacientët)

Dhe më e rëndësishmja: nda para përshtatjes së përpunimit paraprak që mëson nga të dhënat. Nëse hapi juaj i përpunimit paraprak "mëson" parametra (si mjete, fjalorë, harta kategorish), ai duhet t'i mësojë ato vetëm nga trajnimi. [2]

Parapërpunimi i inteligjencës artificiale sipas llojit të të dhënave: tabelare, tekst, imazhe 🎛️

Përpunimi paraprak ndryshon formë në varësi të asaj që i jepni modelit.

Të dhëna tabelare (spreadsheets, logs, database) 📊

Hapat e zakonshëm:

• strategjia e vlerës së munguar

• kodim kategorik [1]

• shkallëzimi i kolonave numerike [1]

• trajtimi i të jashtëzakonshmeve (rregullat e domenit i tejkalojnë "prerjen e rastësishme" shumicën e kohës)

• karakteristika të nxjerra (agregime, vonesa, statistika rrotulluese)

Këshillë praktike: përcaktoni grupet e kolonave në mënyrë të qartë (numerik kundrejt kategorik kundrejt identifikuesve). Vetja juaj e ardhshme do t'ju falënderojë.

Të dhëna teksti (NLP) 📝

Përpunimi paraprak i tekstit shpesh përfshin:

• tokenizimi në tokena/nënfjalë

• konvertimi në ID-të hyrëse

• mbushje/shkurtim

• ndërtimi i maskave të vëmendjes për grumbullim [3]

Rregull i vogël që të kursen mundim: për konfigurimet e bazuara në transformatorë, ndiq cilësimet e pritura të tokenizer-it të modelit dhe mos bëj freestyle nëse nuk ke një arsye. Freestyle është mënyra se si përfundon me "stërvitet, por është e çuditshme"

Imazhe (vizion kompjuterik) 🖼️

Përpunimi paraprak tipik:

• ndrysho madhësinë / prer në forma të njëtrajtshme

• transformime deterministike për vlerësim

• transformime të rastësishme për shtimin e trajnimit (p.sh., prerje e rastësishme) [4]

Një detaj që njerëzit e humbasin: "transformimet e rastësishme" nuk janë thjesht një atmosferë - ato marrin mostra parametrash sa herë që thirren. Shumë të mira për trajnimin e diversitetit, por të tmerrshme për vlerësimin nëse harroni ta çaktivizoni rastësinë. [4]

Kurthi në të cilin bien të gjithë: rrjedhja e të dhënave 🕳️🐍

Rrjedhja e të dhënave ndodh kur informacioni nga të dhënat e vlerësimit futet tinëzisht në trajnim - shpesh përmes përpunimit paraprak. Kjo mund ta bëjë modelin tuaj të duket magjik gjatë validimit, dhe më pas t'ju zhgënjejë në botën reale.

Modelet e zakonshme të rrjedhjeve:

• shkallëzimi duke përdorur statistika të të dhënave të plota (në vend të vetëm trajnimit) [2]

• hartat e kategorive të ndërtimit duke përdorur së bashku tren+test [2]

• çdo fit() ose fit_transform() që “sheh” grupin e testimit [2]

Rregull i përgjithshëm (i thjeshtë, brutal, efektiv):

• Çdo gjë me një të përshtatshëm duhet të jetë e përshtatshme vetëm gjatë stërvitjes.

• Pastaj ju bëni e transformimit duke përdorur atë transformator të montuar. [2]

Dhe nëse doni një kontroll të hollësishëm të gjendjes "sa e keqe mund të jetë?": dokumentet e vetë scikit-learn tregojnë një shembull rrjedhjeje ku një renditje e pasaktë e përpunimit paraprak jep një saktësi rreth 0.76 në objektiva të rastësishëm - pastaj bie përsëri në ~0.5 pasi rrjedhja të rregullohet. Ja sa bindshëm mund të duket një rrjedhje e gabuar. [2]

Futja e parapërpunimit në prodhim pa kaos 🏗️

Shumë modele dështojnë në prodhim jo sepse modeli është "i keq", por sepse realiteti i të dhënave ndryshon - ose ndryshe ndryshon edhe rrjedha juaj e punës.

Përpunimi paraprak i orientuar drejt prodhimit zakonisht përfshin:

• Artefaktet e ruajtura (hartimet e koduesit, parametrat e shkallëzuesit, konfigurimi i tokenizuesit) kështu që inferenca përdor saktësisht të njëjtat transformime të mësuara [2]

• Kontrata të rrepta të të dhënave hyrëse (kolona/lloje/diapazone të pritura)

• Monitorimi për shtrembërim dhe devijim, sepse të dhënat e prodhimit do të devijojnë [5]

Nëse dëshironi përkufizime konkrete: Vertex AI Model Monitoring i Google dallon anomalitë e shërbimit të trajnimit (shpërndarja e prodhimit devijon nga trajnimi) dhe devijimin e inferencës (shpërndarja e prodhimit ndryshon me kalimin e kohës), dhe mbështet monitorimin si për karakteristikat kategorike ashtu edhe për ato numerike. [5]

Sepse surprizat janë të shtrenjta. Dhe jo ato të llojit argëtues.

Tabela krahasuese: mjetet e zakonshme të përpunimit paraprak + monitorimit (dhe për kë janë ato) 🧰

(Po, tabela ka ende opinione. Por të paktën janë opinione të sinqerta 😅)

Një listë kontrolli praktike e parapërpunimit që mund ta përdorni në të vërtetë 📌

Para stërvitjes

• Përcaktoni një skemë hyrëse (llojet, njësitë, diapazonet e lejuara)

• Auditoni vlerat që mungojnë dhe dublikatat

• Ndani të dhënat në mënyrën e duhur (të rastësishme / të bazuara në kohë / të grupuara)

• Parapërpunimi i përshtatjes vetëm gjatë trajnimit ( përshtatja / transformimi_i_përshtatjes qëndron në trajnim) [2]

• Ruani artefaktet e para-përpunimit në mënyrë që përfundimi të mund t'i ripërdorë ato [2]

Gjatë trajnimit

• Aplikoni shtimin rastësor vetëm aty ku është e përshtatshme (zakonisht vetëm ndarje trajnimi) [4]

• Mbajeni vlerësimin parapërpunues determinist [4]

• Gjurmoni ndryshimet e para-përpunimit si ndryshimet e modelit (sepse ato janë)

Para vendosjes

• Sigurohuni që përfundimi përdor rrugën identike të përpunimit paraprak dhe artefaktet [2]

• Konfiguroni monitorimin e devijimit/shtrembërimit (edhe kontrollet themelore të shpërndarjes së veçorive ndihmojnë shumë) [5]

Zhytje e thellë: gabime të zakonshme të para-përpunimit (dhe si t'i shmangni ato) 🧯

Gabimi 1: "Do ta normalizoj shpejt gjithçka" 😵

Nëse llogarit parametrat e shkallëzimit në të gjithë të dhënat, po rrjedh informacion vlerësimi. Përshtat në tren, transformo pjesën tjetër. [2]

Gabimi 2: kategoritë që zhyten në kaos 🧩

Nëse hartëzimi i kategorisë suaj ndryshon midis trajnimit dhe nxjerrjes së përfundimeve, modeli juaj mund ta lexojë gabim botën në heshtje. Mbani hartëzimin të fiksuar nëpërmjet artefakteve të ruajtura. [2]

Gabimi 3: shtim i rastësishëm që futet tinëz në vlerësim 🎲

Transformimet e rastësishme janë të mrekullueshme në stërvitje, por ato nuk duhet të jenë "të aktivizuara fshehurazi" kur përpiqeni të matni performancën. (I rastësishëm do të thotë i rastësishëm.) [4]

Vërejtje përfundimtare 🧠✨

Përpunimi paraprak i inteligjencës artificiale është arti i disiplinuar i shndërrimit të realitetit të çrregullt në të dhëna të qëndrueshme të modelit. Ai mbulon pastrimin, kodimin, shkallëzimin, tokenizimin, transformimet e imazhit dhe - më e rëndësishmja - kanalet dhe artefaktet e përsëritshme.

• Bëjeni paraprakisht përpunimin me qëllim, jo ​​rastësisht. [2]

• Ndani së pari, transformimet e përshtatjes vetëm gjatë stërvitjes, shmangni rrjedhjet. [2]

• Përdorni përpunim paraprak të përshtatshëm për modalitetin (tokenizues për tekstin, transformime për imazhet). [3][4]

• Monitoroni shtrembërimin/devijimin e prodhimit në mënyrë që modeli juaj të mos devijojë ngadalë në gjëra pa kuptim. [5]

Dhe nëse ndonjëherë ngecni, pyeteni veten:
"A do të kishte kuptim ky hap i parapërpunimit nëse do ta ekzekutoja nesër në të dhëna krejt të reja?"
Nëse përgjigjja është "ëëë... ndoshta?", kjo është e dhëna juaj 😬

Shembull nga bota reale: Ndërtimi i një tubacioni paraprak përpunimi të sigurt ndaj rrjedhjeve për parashikimin e largimit të klientëve

Skenari

Imagjinoni një ekip të vogël SaaS që përpiqet të parashikojë se cilët klientë ka të ngjarë të anulojnë porosinë në 30 ditët e ardhshme. Të dhënat e tyre të papërpunuara ndodhen në tre vende: eksportet e faturimit, regjistrat e përdorimit të produktit dhe tiketat e mbështetjes.

Versioni i parë i modelit duket shkëlqyeshëm në validim, por performon dobët kur testohet me klientë të rinj një muaj më parë. Problemi nuk është arkitektura e modelit. Është përpunimi paraprak.

Ekipi aksidentalisht shkallëzoi karakteristikat numerike duke përdorur të gjithë të dhënat, ndërtoi harta kategorish nga të dhënat e trenit dhe të testimit së bashku, dhe përfshiu etiketa mbështetjeje që u shtuan vetëm pas anulimit. Rrjedhje klasike. E dhimbshme, por e rregullueshme. [2]

Çfarë i nevojitet tubacionit

Një konfigurim praktik do të përfshinte:

• Një skemë fikse hyrëse: customer_id, plan_type, account_age_days, logins_30d, tickets_30d, last_payment_status, region

• Një ndarje e bazuar në kohë, siç është trajnimi në janar-shtator dhe testimi në tetor

• Shkallëzimi numerik i përshtatur vetëm në ndarjen e trajnimit

• Enkoderët kategorikë të montuar vetëm në ndarjen e trajnimit

• Një tubacion i ruajtur i përpunimit paraprak, në mënyrë që prodhimi të përdorë të njëjtat mapime dhe vlera shkallëzuese

• Monitorim bazë për kolonat që mungojnë, kategoritë e padukshme dhe ndryshimet e shpërndarjes pas vendosjes

Rregulli kryesor është i thjeshtë: ndarja e parë, përpunimi paraprak i përshtatjes së dyti. Çdo gjë që mëson nga të dhënat duhet të mësojë vetëm nga periudha e trajnimit. [2]

Shembull udhëzimi

Përdoreni këtë si udhëzues pune për hapin e parapërpunimit:

Ndërtoni një tubacion paraprak përpunimi për një model parashikimi të largimit të klientëve duke përdorur të dhënat e faturimit, përdorimit dhe mbështetjes së klientit. Ndani të dhënat sipas kohës përpara se të vendosni ndonjë transformator. Vendosni shkallëzues numerikë dhe enkodues kategorikë vetëm në të dhënat e trajnimit, pastaj aplikoni ato transformime të përshtatura në të dhënat e validimit dhe testimit. Ruani të gjitha artefaktet e para-përpunimit në mënyrë që modeli i prodhimit të përdorë të njëjtën skemë, hartëzime kategorish dhe parametra shkallëzimi. Shënoni kolonat që mungojnë, llojet e të dhënave të papritura, kategoritë e padukshme dhe ndryshimet kryesore të shpërndarjes përpara parashikimit.

Si ta testoni

Para se t'i besosh modelit, testo tubacionin e para-përpunimit me disa të dhëna qëllimisht të vështira:

• Një klient në një lloj plani që nuk ishte i pranishëm në trajnim

• Një rresht ku mungon rajoni ose statusi i_paymentit_të_fundit

• Një klient me përdorim jashtëzakonisht të lartë, si p.sh. 10,000 hyrje në 30 ditë

• Një skedar në stilin e prodhimit me kolona në renditje të gabuar

• Një set testimi për muajin e ardhshëm që nuk u përdor kurrë gjatë përshtatjes

Pastaj kontrolloni tre gjëra:

• A funksionon tubacioni pa ndryshuar rendin e veçorive?

• A trajtohen kategoritë e panjohura në mënyrë të qëndrueshme?

• A bie performanca e validimit në një nivel më të besueshëm pasi të hiqet rrjedhja?

Pika e fundit ka rëndësi. Një rezultat validimi dyshueshëm i lartë është shpesh një erë paraprake përpunimi, jo një mrekulli.

Rezultati

Rezultati ilustrues, bazuar në kohëzimin e pesë ekzekutimeve të para-përpunimit të mostrës para dhe pas konvertimit të hapave të fletores në një tubacion të ruajtur:

• Koha e përpunimit paraprak manual ra nga 55 minuta për rifreskim të të dhënave në 8 minuta.

• Gabimet në renditjen e veçorive ranë nga 3 gabime në 5 rifreskime testimi në 0 gabime në 5 rifreskime.

• Saktësia e validimit ra nga 91% në 74% pasi u eliminua rrjedhja, por saktësia e testit të muajit të parë u përmirësua nga 62% në 71%.

• Ekipi shtoi 6 kontrolle të automatizuara: kolona që mungojnë, lloje të pavlefshme, kategori të padukshme, ndryshim të shkallës zero, ndryshim të diapazonit numerik dhe mospërputhje të skemës së shërbimit të trenit.

Këto numra nuk janë një pikë referimi universale. Ato janë lloji i matjeve të thjeshta para dhe pas që një ekip mund t'i riprodhojë duke kohëzuar rifreskimet, duke numëruar provat e dështuara dhe duke krahasuar rezultatet e validimit me një muaj të ardhshëm të shtyrë.

Çfarë mund të shkojë keq

Rreziku më i madh është që tubacioni të duket i pastër, ndërkohë që rrjedhjet ruhen në heshtje. Për shembull, "ditët që nga emaili i fundit paralajmërues për anulimin" mund të duken të vlefshme, por nëse ai email dërgohet vetëm pas një shqyrtimi të brendshëm të largimit të klientëve, mund të zbulojë njohuri të ardhshme.

Kurthe të tjera të zakonshme:

• Rivendosja e enkoderëve në prodhim në vend të ngarkimit të mapimeve të ruajtura

• Lejimi i kategorive të reja të ndryshojnë në heshtje pozicionet e veçorive

• Testimi në një ndarje të rastësishme kur detyra e vërtetë bazohet në kohë

• Heqja e rreshtave me vlera që mungojnë në trajnim, por mospërpunimi i tyre në nxjerrjen e përfundimeve

• Monitorimi i saktësisë së modelit duke injoruar zhvendosjen e të dhënave hyrëse

Përgatitje praktike për të marrë me vete

Një kanal i mirë përpunimi paraprak bën më shumë sesa thjesht i bën të dhënat e papërpunuara të pastra. Ai e mbron modelin nga vlerësimi i keq, të dhënat e prishura të prodhimit dhe devijimi i ngadaltë i heshtur. Për një model të largimit të të dhënave, ndryshimi midis përpunimit paraprak të zgjuar dhe përpunimit paraprak të besueshëm shpesh varet nga fakti nëse të njëjtat transformime të përshtatura ripërdoren çdo herë, veçanërisht kur të dhënat vijnë nga një muaj që modeli nuk e ka parë kurrë më parë.

Pyetje të shpeshta

Çfarë është përpunimi paraprak i inteligjencës artificiale, me fjalë të thjeshta?

Përpunimi paraprak i inteligjencës artificiale është një grup hapash të përsëritshëm që i shndërron të dhënat e papërpunuara me zhurmë dhe me variancë të lartë në të dhëna të qëndrueshme nga të cilat një model mund të mësojë. Mund të përfshijë pastrimin, validimin, kodimin e kategorive, shkallëzimin e vlerave numerike, tokenizimin e tekstit dhe zbatimin e transformimeve të imazhit. Qëllimi është të sigurohet që trajnimi dhe nxjerrja e përfundimeve të prodhimit të shohin "të njëjtin lloj" të dhënash, në mënyrë që modeli të mos bjerë në sjellje të paparashikueshme më vonë.

Pse ka kaq shumë rëndësi përpunimi paraprak i inteligjencës artificiale në prodhim?

Përpunimi paraprak ka rëndësi sepse modelet janë të ndjeshme ndaj përfaqësimit të të dhënave hyrëse. Nëse të dhënat e trajnimit shkallëzohen, kodohen, tokenizohen ose transformohen ndryshe nga të dhënat e prodhimit, mund të merrni dështime të mospërputhjes së trajnimit/shërbimit që duken mirë jashtë linje, por dështojnë në heshtje në internet. Kanalet e forta të përpunimit paraprak gjithashtu zvogëlojnë zhurmën, përmirësojnë stabilitetin e të mësuarit dhe përshpejtojnë përsëritjen sepse nuk po zgjidhni spagetitë e fletoreve të shënimeve.

Si mund ta shmang rrjedhjen e të dhënave gjatë përpunimit paraprak?

Një rregull i thjeshtë funksionon: çdo gjë me një përshtatjeje duhet të përshtatet vetëm në të dhënat e trajnimit. Kjo përfshin shkallëzuesit, enkoduesit dhe tokenizuesit që mësojnë parametra si mesataret, hartat e kategorive ose fjalorët. Ju ndani së pari, përshtateni në ndarjen e trajnimit, pastaj transformoni validimin/testin duke përdorur transformatorin e përshtatur. Rrjedhja mund ta bëjë validimin të duket "magjikisht" i mirë dhe pastaj të dështojë në përdorimin e prodhimit.

Cilat janë hapat më të zakonshëm të parapërpunimit për të dhënat tabelare?

Për të dhënat tabelare, procesi i zakonshëm i përpunimit të të dhënave përfshin pastrimin dhe validimin (llojet, diapazonet, vlerat që mungojnë), kodimin kategorik (një-nxehtë ose ordinal) dhe shkallëzimin numerik (standardizimin ose min-max). Shumë procese të përpunimit të të dhënave shtojnë inxhinieri karakteristikash të bazuara në domen, si raportet, dritaret rrotulluese ose numërimet. Një zakon praktik është të përcaktohen grupet e kolonave në mënyrë të qartë (numerik kundrejt kategorik kundrejt identifikuesve) në mënyrë që transformimet tuaja të mbeten konsistente.

Si funksionon parapërpunimi për modelet e tekstit?

Përpunimi paraprak i tekstit zakonisht nënkupton tokenizimin në tokena/nënfjalë, konvertimin e tyre në ID hyrëse dhe trajtimin e mbushjes/shkurtimit për grumbullim. Shumë rrjedha pune të transformatorit krijojnë gjithashtu një maskë vëmendjeje së bashku me ID-të. Një qasje e zakonshme është përdorimi i konfigurimit të pritur të tokenizuesit të modelit në vend të improvizimit, sepse ndryshimet e vogla në cilësimet e tokenizuesit mund të çojnë në rezultate "trajnohet, por sillet në mënyrë të paparashikueshme".

Çfarë është e ndryshme në lidhje me përpunimin paraprak të imazheve për të mësuarit automatik?

Përpunimi paraprak i imazhit zakonisht siguron forma dhe trajtim të qëndrueshëm të pikselëve: ndryshimi i madhësisë/prerja, normalizimi dhe një ndarje e qartë midis transformimeve deterministe dhe atyre të rastësishme. Për vlerësim, transformimet duhet të jenë deterministe në mënyrë që metrikat të jenë të krahasueshme. Për trajnim, shtimi i rastësishëm (si prerjet e rastësishme) mund të përmirësojë qëndrueshmërinë, por rastësia duhet të përfshihet qëllimisht në ndarjen e trajnimit, jo të lihet aksidentalisht gjatë vlerësimit.

Çfarë e bën një tubacion parapërpunimi "të mirë" në vend që të jetë i brishtë?

Një tubacion i mirë përpunimi paraprak i inteligjencës artificiale është i riprodhueshëm, i sigurt nga rrjedhjet dhe i vëzhgueshëm. Riprodhueshëm do të thotë që i njëjti input prodhon të njëjtin rezultat, përveç nëse rastësia është rritje e qëllimshme. I sigurt nga rrjedhjet do të thotë që hapat e përshtatjes nuk prekin kurrë validimin/testin. I vëzhgueshëm do të thotë që mund të inspektosh statistika si mungesat, numërimi i kategorive dhe shpërndarja e veçorive, kështu që debugging bazohet në prova, jo në ndjesi intuitive. Tubacionet i tejkalojnë sekuencat ad-hoc të fletoreve çdo herë.

Si ta mbaj trajnimin dhe parapërpunimin e inferencës konsistentë?

Çelësi është të ripërdorni saktësisht të njëjtat artefakte të mësuara në kohën e nxjerrjes së përfundimeve: parametrat e shkallëzuesit, mapimet e enkoduesit dhe konfigurimet e tokenizuesit. Gjithashtu, ju nevojitet një kontratë hyrëse (kolona, ​​lloje dhe diapazone të pritura) në mënyrë që të dhënat e prodhimit të mos mund të devijojnë në heshtje në forma të pavlefshme. Konsistenca nuk është thjesht "të bësh të njëjtat hapa" - është "të bësh të njëjtat hapa me të njëjtat parametra dhe mapime të përshtatura"

Si mund t’i monitoroj problemet e parapërpunimit, siç janë devijimi dhe shtrembërimi me kalimin e kohës?

Edhe me një rrjedhë të qëndrueshme, të dhënat e prodhimit ndryshojnë. Një qasje e zakonshme është monitorimi i ndryshimeve në shpërndarjen e veçorive dhe njoftimi për shtrembërimin e shërbimit të trajnimit (prodhimi devijon nga trajnimi) dhe devijimin e inferencës (prodhimi ndryshon me kalimin e kohës). Monitorimi mund të jetë i lehtë (kontrollet bazë të shpërndarjes) ose i menaxhuar (si Monitorimi i Modelit Vertex AI). Qëllimi është të kapen ndryshimet e të dhënave herët - përpara se ato të dëmtojnë ngadalë performancën e modelit.

Referencat

[1] API scikit-learn: sklearn.preprocessing (encoders, scalers, normalizim)
[2] scikit-learn: Gracka të zakonshme - Rrjedhja e të dhënave dhe si ta shmangni atë
[3] Dokumentet e Hugging Face Transformers: Tokenizers (ID hyrëse, maska ​​vëmendjeje)
[4] Dokumentet e PyTorch Torchvision: Transformime (Rimadhësim/Normalizim + transformime të rastësishme)
[5] Dokumentet e Google Cloud Vertex AI: Përmbledhje e Monitorimit të Modelit (shtrembërim dhe zhvendosje e veçorive)

Gjeni IA-në më të fundit në Dyqanin Zyrtar të Asistentëve të IA-së

Rreth Nesh