AutoSynthData e ServiceNow i shndërron dështimet e agjentëve në flori trajnimi

Përgjigje e shkurtër: AutoSynthData e ServiceNow CoreAI i kthen dështimet e agjentëve plus sukseset e mësuesve në detyra sintetike SFT të validuara kur ndërmarrjet kanë nevojë për kompetencë mjedisore, jo vetëm rezultate të gjera të pikëve referuese. Ai pastron boshllëqet në kartat e specifikimeve të aftësive, shumëfishon punën e verifikueshme dhe më pas kontrollon cilësinë përpara se të bëjë rregullime të hollësishme. Ngritjet e palestrës EnterpriseOps të raportuara nga autori mbajnë nëse forca e mësuesit, cilësia e verifikuesit dhe besnikëria e mjedisit përputhen.

Përmbledhjet kryesore:

Kartat e aftësive: Dezinfektoni dështimet në karta në mënyrë që gjeneratorët të mos i shohin kurrë ID-të origjinale.

Auditueshmëria e verifikuesit: Preferohen kontrollet e gjendjes përfundimtare të SQL që refuzojnë rezultatet e gabuara të mutuara.

Brezi i vështirësisë: Trajnoni vetëm detyra që objektivi rrallë i zgjidh dhe mësuesi zakonisht i kalon mirë.

Rishikimi njerëzor: Mbani rishikimin njerëzor për politikat me rrezik të lartë dhe veprimet e pakthyeshme para rikualifikimit.

Lëvizja e kufirit: Pas SFT-së, rivlerësoni dhe zhvendosni fazën e synuar drejt boshllëqeve të mbetura.

Agjentët e inteligjencës artificiale të ndërmarrjeve rrallë dështojnë sepse u mungon njohuria e përgjithshme. Ata dështojnë sepse mjedisi është specifik: politikat e biletave, veçoritë e skemës, kontratat e mjeteve, bazat e të dhënave të mbjella, artikujt e njohurive dhe rrjedhat e punës ndërsistemore që nuk duken si demo të librave shkollorë. Një model që shënon rezultate të mira në testet e hapura mund të ngecë akoma kur hapi tjetër duhet të respektojë një dritare ndryshimi, një marrëdhënie CMDB ose një verifikues që kontrollon gjendjen përfundimtare në vend të bisedës rrjedhëse.

ServiceNow CoreAI / ServiceNow-AI publikuan AutoSynthData për të trajtuar drejtpërdrejt këtë boshllëk. Autori i emëruar Esakkivel Esakkiraja përshkruan një tubacion që konverton dështimet e një agjenti të synuar - së bashku me sukseset e një mësuesi më të fortë - në detyra trajnimi sintetike të validuara të përshtatura për mjediset e ndërmarrjeve. Qëllimi nuk është të mblidhen më shumë regjistra bisedash. Qëllimi është të shumëfishohet puna e vështirë dhe e verifikueshme që ushtron të njëjtën aftësi në kushte të reja, në mënyrë që rregullimi i imët i mbikëqyrur të mund të mbyllë boshllëqet specifike të mjedisit.

Ky artikull trajton idenë thelbësore, abstraksionin e detyrës, ciklin e gjenerimit dhe kontrollit të cilësisë, arkitekturën e përbashkët dhe rezultatet e raportuara nga autorët në EnterpriseOps Gym në mjedise hibride dhe ITSM. Ai qëndron te ajo që përshkruan hulumtimi: një kurrikulë lëvizëse e detyrave sintetike, jo një pretendim se çdo ndërmarrje zgjidhet papritur.

Pse kompetenca mjedisore është më e mirë se aftësia e gjerë

Ndërmarrjet kanë nevojë për agjentë që punojnë në mjedisin e tyre - sistemet, rregullat dhe gjendjen e të dhënave të tyre. Aftësia e gjerë nuk është e njëjta gjë me kompetencën e mjedisit. Një agjent mund të dijë se si funksionon zakonisht menaxhimi i shërbimeve të IT-së dhe prapë të mos e kuptojë politikën lokale që ndalon tranzicione të caktuara, ose mjetin që përditëson një tabelë të lidhur vetëm pasi ekziston një regjistrim paraprak.

Dështimet individuale janë informuese, por të pakta si të dhënat e trajnimit. Një trajektore e prishur tregon një dobësi; ajo nuk ofron dhjetëra situata të afërta që do ta mësonin modelin të rikuperohej në varësi të ndryshimit. Ekipet kanë nevojë për shumë detyra të reja që ushtrojnë të njëjtën aftësi ndryshe, mbeten të përfundueshme brenda mjedisit, ndihen realiste sipas kërkesës së përdoruesit dhe mbeten të verifikueshme kundrejt kontrolleve të rezultateve.

Ky është presioni i projektimit pas AutoSynthData. Dështimet bëhen sinjale për kartat e aftësive. Kartat bëhen gjeneratorë të detyrave të reja. Një mësues më i fortë demonstron trajektore të suksesshme. Filtrat dhe verifikuesit vendosin se çfarë hyn në grupin e rregullimeve të hollësishme të mbikëqyrura. Pas trajnimit, vlerësimi e zhvendos kufirin drejt boshllëqeve të mbetura. Cikli është në formë kurrikule dhe jo një grumbullim i të dhënave të njëhershme.

Hartimi i kornizave ka rëndësi për praktikuesit. Nëse ruani vetëm kërkesat që dështojnë, rrezikoni të mbipërshtateni me ato entitete dhe fraza të sakta. Nëse gjeneroni vetëm kërkesa sintetike të pakufizuara, rrezikoni detyra që janë të pamundura, joreale ose të paverifikueshme. AutoSynthData ndodhet midis këtyre ekstremeve: sanitizoni atë që dështoi në një specifikim aftësish, pastaj rigjeneroni detyra që ruajnë thelbin ndërsa ndryshojnë formën e sipërfaqes dhe dimensionet e kontrollueshme.

Forma e detyrës praktike: sistem, kërkesë, verifikues

Një abstraksion i realizueshëm për punën agjentike është: detyra është e barabartë me specifikimin e sistemit, kërkesën e përdoruesit dhe verifikuesin. Çdo pjesë mbart kufizime që i mbajnë të dhënat sintetike të bazuara dhe të besueshme.

Specifikimi i sistemit mbulon kufizimet, politikat dhe gjendjen fillestare - për shembull, farërat e bazës së të dhënave dhe artikujt e njohurive. Ai duhet të mbetet i pajtueshëm me mjetet dhe gjendjen e disponueshme. Kufizimet arbitrare të vështirësisë që injorojnë kontratat e mjeteve ose realizmin e farërave kanë tendencë të krijojnë detyra të brishta që japin mësimin e gabuar.

Cilësia e kërkesës së përdoruesit ka tre këndvështrime. Fizibiliteti pyet nëse ekziston një trajektore e vlefshme. Realizmi pyet nëse një përdorues do ta kërkonte këtë në mënyrë të besueshme. Vështirësia pyet nëse detyra ekspozon një dobësi të agjentit aktual dhe jo diçka që objektivi tashmë e zgjidh në mënyrë të besueshme. Një kërkesë që është e parëndësishme për objektivin shpërdoron buxhetin e trajnimit; një kërkesë që është e pamundur shpërdoron besimin në vlerësim.

Cilësia e verifikuesit varet nga qëndrueshmëria, saktësia dhe plotësia. Trajektoret shumë të dobëta dhe të dobëta kalojnë. Zgjidhjet shumë kufizuese ndaj një trajektoreje të vetme dhe alternativat e vlefshme dështojnë. Cilësimet e ndërmarrjeve shpesh preferojnë kontrollet e rezultateve të bazuara në SQL ose gjendje, sepse ato vlerësojnë botën pasi agjenti vepron, jo rrugën e saktë simbolike që ka ndjekur agjenti.

AutoSynthData mbështetet në këtë triadë, kështu që puna e gjeneruar mbetet e bazuar. Gjeneratorët nuk shpikin kuize që lundrojnë lirshëm. Ata prodhojnë detyra që mund të ekzekutohen në mjedisin adaptues dhe të gjykohen nga verifikues që kujdesen për vetitë e kërkuara të gjendjes përfundimtare.

Nga vlerësimi diagnostikues te kartat e specifikimeve të aftësive

Ky proces fillon me vlerësimin diagnostik të agjentit të synuar dhe një mësuesi më të fortë brenda mjedisit. Vëzhgimet paralele zbulojnë se ku dështon objektivi dhe ku ka sukses mësuesi. Këto raste kontrasti janë lënda e parë për hartimin e kurrikulës.

Më pas vjen distilimi në karta të specifikuara të aftësive. Një kartë kap aftësinë nën provë, mjetet përkatëse ose formën e rrjedhës së punës, ku objektivi dështon dhe mësuesi ka sukses, vetitë e kërkuara të gjendjes përfundimtare dhe dimensionet që mund të ndryshojnë kur shpiken detyra të reja. Është kritike që gjeneratori nuk merr udhëzime origjinale, entitete, trajektore ose detaje verifikuesi - vetëm kartat.

Ky dezinfektim është një veprim i qëllimshëm kundër mbipërshtatjes. Nëse gjeneratori do të shihte numrat e saktë të biletave të dështimit, ID-të e artikujve të njohurive ose gjurmët e mësuesve, do të tundohej të parafrazonte të njëjtin episod. Kartat detyrojnë abstraksionin: mësoni aftësinë nën variacion të kontrollueshëm, jo ​​në instancën e memorizuar.

Pasi kartat ekzistojnë, sistemi gjeneron detyra të reja prej tyre. Mësuesi më pas demonstron trajektore të suksesshme për rregullime të hollësishme të mbikëqyrura. Këto demonstrime nuk janë këshilla të formës së lirë; ato janë suksese të bazuara në mjedis që kalojnë të njëjtin lloj verifikimi për të cilin kujdeset edhe kurrikula.

Shkalla e strukturës është dy faza. Faza e synuar përqendrohet në mostrat kryesore të verifikuara rreth boshllëqeve - detyrat me sinjalin më të lartë afër vendit ku agjenti i dobët prishet. Faza e shumëzimit krijon variante të reja të objektivave të pranuar. Mostrat e shumëzuara nuk mund të mbjellin raunde të mëtejshme shumëzimi, gjë që kufizon devijimin. Ky rregull është i vogël, por i rëndësishëm: ndryshimi rekursiv i pakufizuar mund të largohet nga aftësia e emëruar në kartë.

Kontrolluesi i përbashkët, përshtatësi i mjedisit dhe kufiri në lëvizje

Nga ana e arkitekturës, AutoSynthData përdor një kontrollues të përbashkët plus një përshtatës mjedisi. Kontrolluesi orkestron diagnostikimin, kartat, gjenerimin, demonstrimet e mësuesve, portat e cilësisë dhe rishikimin në grup. Përshtatësi i lidh këto hapa me një sandbox konkret të ndërmarrjes - mjetet, gjendjen, politikat dhe verifikuesit - në mënyrë që i njëjti cikël kontrolli të mund të synojë fusha të ndryshme pa e rishkruar logjikën e kurrikulës nga e para.

Pas rregullimit të imët të mbikëqyrur, rrjedha e punës rivlerësohet. Kurrikula më pas lëviz drejt boshllëqeve të mbetura: një kufi lëvizës në vend të një grupi të dhënash statik. Eksperimentet e përshkruara në punë përqendrohen në rregullimin e imët të mbikëqyrur. I njëjti cikël mund të mbështesë të mësuarit me përforcim më vonë; ky drejtim shënohet si i planifikuar, jo i deklaruar si i përfunduar.

Për ekipet e ndërmarrjeve, mësimi arkitektonik është modular. Kontrolluesit nuk duhet të kodojnë fort një skemë bilete. Adaptuesit duhet të ekspozojnë mjaftueshëm besnikëri të gjendjes dhe mjetit në mënyrë që verifikuesit të mund të jenë kuptimplotë. Kurrikula duhet t'i trajtojë rezultatet e vlerësimit si të dhëna hyrëse të radhës, jo si një tabelë rezultatesh një herëshe.

EnterpriseOps Gym është mjedisi ku u ilustrua kjo qasje. Është një bankë agjentësh ndërmarrjesh në shkallë të gjerë me rreth 1,150 detyra të kuruara nga ekspertë në 8 fusha, afërsisht 512 mjete, rreth 164 tabela të bazës së të dhënave, ekzekutim të kontejnerizuar, verifikim të rezultateve të bazuara në SQL, operacione të qeverisura nga politikat, skenarë hibridë ndër-domena, testime të pamundësisë dhe refuzimit, dhe trajektore gjendjeje me horizont të gjatë. AutoSynthData nuk paraqitet si shpikëse e asaj palestre; palestra është shtrati i testimit të stresit për ciklin e sintezës.

Kontroll i cilësisë në nivel mostre që i mban detyrat sintetike të besueshme

Gjenerimi pa porta është mënyra se si të dhënat e agjentëve sintetikë shkojnë keq. AutoSynthData përshkruan kontrollin e cilësisë në nivel mostre me disa kontrolle plotësuese.

Një filtër vështirësie i zgjidhësit e drejton grupin drejt detyrave që janë të vështira për objektivin dhe të zgjidhshme për mësuesin. Konfigurimi i përshkruar favorizon detyrat që objektivi i zgjidh në maksimum një nga tre provat, ndërsa mësuesi ia del mbanë në të paktën dy nga tre. Ky brez është vendi ku demonstrimet e mbikëqyrura mund të mësojnë diçka që modeli i dobët nuk e zotëron tashmë.

Verifikimi pozitiv kërkon që një trajektore referimi të kalojë verifikuesin. Verifikimi negativ kërkon që rezultatet e gabuara të mutuara të dështojnë. Së bashku ato ushtrojnë presion mbi të dyja anët e pranimit dhe të refuzimit të kontrolluesit. Nëse kontrollohen vetëm pozitivet, një verifikues lejues mund të pranojë mbeturina. Nëse kontrollohen vetëm negativet, një verifikues tepër i ngushtë mund të refuzojë punë të vlefshme.

Një cikël kritike dhe riparimi, me një limit ripërpjekjeje, përpiqet të rregullojë detyrat që dështojnë në porta në vend që të hedhë poshtë menjëherë çdo gabim që pothuajse dështon. Limitet e ripërpjekjeve kanë rëndësi: riparimi i pafund mund të shpikë kufizime gjithnjë e më artificiale vetëm për të kaluar një listë kontrolli.

Meta-rishikimi në nivel grupi më pas shqyrton të gjithë grupin për mbulim, diversitet, tepricë dhe objektiva që dështojnë. Portat e mostrës i mbajnë artikujt individualë të shëndoshë; rishikimi në grup e pengon kurrikulën të grupohet në një mënyrë të ngushtë dështimi ose të klonojë pothuajse dyfishime.

Këto kontrolle shpjegojnë pse tubacioni mund të shpenzojë orë të tëra duke prodhuar mijëra mostra pa e trajtuar vëllimin si zëvendësim për përshtatshmërinë. Shpejtësia ndryshon sipas domenit dhe madhësisë së mësuesit, por historia e Kontrollit të Cilësisë (QC) është e qëndrueshme: brezi i vështirësisë, verifikimi pozitiv dhe negativ, riparimi me kufij, pastaj meta-rishikimi.

Dështimet e papërpunuara kundrejt kartave kundrejt seteve të validuara SFT

Ndihmon të krahasosh se për çfarë është i mirë secili artefakt. Regjistrat e papërpunuar të dështimeve janë diagnostikues. Kartat e aftësive janë kontrata gjeneruese. Setet e validuara të rregullimit të imët të mbikëqyrur janë ato për të cilat stërvitesh në praktikë.

Në pamjet e çastit Hybrid dhe ITSM në EnterpriseOps Gym, ekzekutimet e raportuara nga autorët përdorën Gemma-4-26B-A4B-it si objektiv. Hybrid e çiftëzoi atë objektiv me Qwen3.8-27B si mësues dhe prodhoi rreth 2,000 mostra hibride në afërsisht 18 orë, me pikën më të mirë të kontrollit në epokën 5. Mesatarja Pass@1 u rrit me 7.2 pikë përqindjeje - rreth 35 përqind relative - me suksesin e verifikuesit që lëvizi nga 63.01 përqind në 68.55 përqind, duke mbyllur rreth 59 përqind të hendekut Pass@1 me modelin referues.

ITSM e çiftëzoi të njëjtin objektiv me DeepSeek-V4.1-Flash si mësues dhe prodhoi rreth 1,994 mostra në afërsisht 66 orë, pjesërisht më gjatë për shkak të një mësuesi më të madh dhe sepse disa optimizime të tubacionit nuk ishin ende në vend. Mesatarja Pass@1 lëvizi nga 18.77 përqind në 27.18 përqind.

Lexojini këto shifra si rezultate kërkimore të kompanisë në këtë palestër për domenet e testuara - jo si një replikim i pavarur nga një palë e tretë dhe jo si një garanci universale për ndërmarrjen. Fitimet janë të gjalla aty ku forca e mësuesve, cilësia e verifikuesit dhe besnikëria e mjedisit përputhen.

Çfarë duhet të kopjojnë praktikuesit nga cikli

Edhe nëse grumbulli juaj nuk është tubacioni i kërkimit të ServiceNow, modeli transferohet. Filloni me vlerësimin në çift të një objektivi të ngjashëm me prodhimin dhe një mësuesi më të fortë në një sandbox besnik. Konvertoni dështimet e kontrastit në karta aftësish që heqin identifikuesit dhe trajektoret. Gjeneroni detyra që ndryshojnë dimensionet e lejuara duke ruajtur vetitë e kërkuara të gjendjes përfundimtare. Kërkojini mësuesit të demonstrojë suksese. Kontrolloni portën me breza vështirësie, verifikim pozitiv dhe negativ, riparim të kufizuar dhe rishikim të diversitetit të grupeve. Rregulloni imët, rivlerësoni dhe zhvendosni kufirin.

Kushtojini vëmendje të veçantë dizajnit të verifikuesit. Kontrollet e rezultateve SQL në stilin e EnterpriseOps Gym dhe operacionet e qeverisura nga politikat ilustrojnë pse rubrikat e bisedës në vetvete janë të dobëta për punën me gjendje stateful. Nëse verifikuesi juaj nuk mund të dallojë rezultatet e gabuara të mutuara nga rezultatet e sakta, shkalla sintetike do të amplifikojë zhurmën.

Gjithashtu respektoni frymën e rregullit të shumëzimit: variantet e objektivave të pranuar nuk duhet të mbjellin pafundësisht variante të tjera pa u kthyer në bërthamat e verifikuara. Zhvendosja është e qetë. Një kurrikulë që shpik ngadalë kufizime më ekzotike mund të kalojë filtra sipërfaqësorë, duke e lënë aftësinë origjinale të patrajnuar mirë.

Së fundmi, trajtojeni punën hibride ndër-domen si një rast stresi të klasit të parë. Përdoruesit e përditshëm nuk qëndrojnë brenda një silo mjetesh. Detyrat hibride, trajektoret me horizont të gjatë dhe testimi i refuzimit ose pamundësisë janë ato ku kompetenca mjedisore shfaqet - ose dështon me zë të lartë.

Paralajmërime, kufizime dhe një lexim i kujdesshëm i fitimeve

Rezultatet e raportuara nga autorët në EnterpriseOps Gym janë sinjale informuese, jo një garanci e përgjithshme. Përfitimet e publikuara të Hybrid dhe ITSM zbatohen për ato domene dhe çiftëzime modelesh sipas konfigurimit të përshkruar. Domene të tjera, mësues më të dobët, verifikues më të zhurmshëm ose besnikëri më e cekët e mjedisit mund ta zvogëlojnë ose fshijnë përfitimin.

Cilësia varet nga tre shtylla që asnjë shpjegim i marketingut nuk mund t’i anashkalojë. Forca e mësuesit përcakton kufirin për demonstrimet. Cilësia e verifikuesit përcakton besueshmërinë e etiketave dhe filtrave. Besnikëria e mjedisit përcakton nëse sjelljet e mësuara i mbijetojnë kontaktit me sistemet e prodhimit, rregullat dhe gjendjen e të dhënave.

Eksperimentet e AutoSynthData theksojnë rregullimin e imët të mbikëqyrur. Mësimi përforcues vihet re si një përdorim i mundshëm i mëvonshëm i të njëjtit lak, i planifikuar në vend që të ofrohet në punën e raportuar. Lexuesit nuk duhet ta ngatërrojnë një motor të dhënash të gatshëm për kurrikulë me një pretendim të përfunduar të trajnimit RL.

Lexuesit nuk duhet ta ngatërrojnë as tubacionin e sintezës me vetë bankën. EnterpriseOps Gym ofron detyrat, mjetet, tabelat, kontejnerizimin dhe strukturën e verifikimit të kuruar. AutoSynthData përdor atë lloj mjedisi për t'i kthyer dështimet në flori trajnimi. Meritoni me saktësi të dyja pjesët: palestra i streson agjentët; tubacioni shumëfishon detyrat e mësueshme nga boshllëqet e diagnostikuara.

Gjithashtu nuk ka drekë falas për kohën e llogaritjes dhe kalendarit brenda sandbox-it. Sinteza hibride u përfundua në rreth orë për rreth dy mijë mostra; ITSM zgjati më shumë me një mësues më të rëndë dhe formë më të hershme të tubacionit. Ekipet duhet të buxhetojnë për përfundimin e mësuesit, ripërpjekjet në kritikë ose riparim dhe rivlerësimin pas çdo hapi të kurrikulës.

Të menduarit kurrikular për ekipet e agjentëve të ndërmarrjeve

Ideja më e thellë në AutoSynthData është kurrikulare dhe jo thjesht gjeneruese. Dështimet diagnostikojnë. Përmbledhje e kartave. Gjenerimi shumëfishohet. Kontrolli i cilësisë (QC) validon. SFT përditëson objektivin. Rivlerësimi zhvendos kufirin. Kjo sekuencë e trajton përmirësimin e agjentit si një seri mësimesh të bazuara në mjedis, në vend të një grumbulli të vetëm gjurmësh jashtë linje.

Mënyra e të menduarit kurrikular ndryshon mënyrën se si udhëheqësit ndajnë përpjekjet. Në vend që të kërkoni vetëm më shumë bileta ose më shumë shënime njerëzore, pyetni se cilat aftësi dështojnë ende nën ndryshim, nëse këto aftësi kanë veti të pastra të gjendjes përfundimtare dhe nëse një mësues më i fortë mund t'i demonstrojë ato në mënyrë të besueshme. Nëse mësuesi nuk mund të ketë sukses mjaftueshëm shpesh, SFT-ja sintetike do të mësojë sjellje të pabesueshme. Nëse vetitë e gjendjes përfundimtare janë të paqarta, verifikuesit do të grinden me strategjitë e vlefshme.

Gjithashtu ndryshon mënyrën se si flisni për suksesin. Mbyllja e një pjese të një boshllëku Pass@1 në një model referimi në Hybrid, ose ngritja e ITSM Pass@1 nga nivelet më të larta në të njëzetat e larta në rezultatet e raportuara nga autorët, është përparim në kompetencën e matur të mjedisit. Nuk është provë se çdo rrjedhë pune, çdo politikë ose çdo rast refuzimi zgjidhet. Vazhdoni të lëvizni gjuhën kufitare: boshllëqet e mbetura bëhen faza tjetër e Target-it, jo një rrëshqitje e menduar më vonë.

Për hartimin e programit, çiftëzojeni këtë cikël me rishikimin njerëzor ku rreziqet janë të larta - politikat e sigurisë, veprimet e pakthyeshme, të dhënat e rregulluara - ndërsa lejoni që portat e automatizuara të mbajnë vëllim në kontrolle të gjendjes së specifikuara mirë. Të dhënat sintetike funksionojnë më mirë kur mjedisi mund të thotë po ose jo me qartësi të ngjashme me SQL. Ato kanë vështirësi kur suksesi është shije subjektive.

Shënime të dizajnit mbi vështirësinë, realizmin dhe refuzimin

Synimi i vështirësisë meriton një vështrim të dytë. Të favorizosh detyrat që objektivi i zgjidh në maksimum një të tretën e kohës e mban stërvitjen larg pyetjeve të vogla. Të kërkosh që mësuesi të ketë sukses në të paktën dy të tretat e kohës i mban demonstrimet larg hedhjes së monedhave. Ky brez është një kompromis praktik midis sfidës dhe të mësuarit të lehtë.

Realizmi mbetet një kriter më i butë, por ende thelbësor. Përdoruesit e ndërmarrjeve kërkojnë gjëra që i përshtaten roleve dhe sistemeve të tyre. Gjeneratorët e drejtuar vetëm nga fortësia mund të shpikin enigma të hollësishme me shumë kufizime që asnjë operator nuk do t'i kërkonte. Kartat e aftësive që rendisin dimensione të ndryshueshme ndihmojnë, megjithatë njerëzit ose meta-rishikimi ende duhet të kapin nxitje sureale.

Testimi i refuzimit dhe i pamundësisë, i pranishëm në dizajnin më të gjerë të EnterpriseOps Gym, u kujton ekipeve se kompetenca përfshin thënien jo. Një tubacion i optimizuar vetëm për detyra të përfundueshme mund ta nën-trajnojë refuzimin. Kur zgjeroni sythet në stilin AutoSynthData, përfshini kartat ku vetia e saktë përfundimtare është një rënie e sigurt sipas politikës, jo vetëm një mutacion i suksesshëm i gjendjes së bazës së të dhënave.

Trajektoret me gjendje të qëndrueshme në horizont të gjatë ngrenë një tjetër notë në dizajn. Demotimet e mësuesve duhet të qëndrojnë koherente në shumë thirrje mjetesh. Verifikuesit që kontrollojnë vetëm rreshtin e fundit të tabelës mund të humbasin ndërprerjet e ndërmjetme të politikave. Plotësia në dizajnin e verifikuesit do të thotë mbulimi i vetive që përcaktojnë vërtet suksesin për atë aftësi - duke përfshirë kufizimet që duhet të mbeten të vërteta gjatë gjithë kohës, jo vetëm në fund.

Përmbledhje përfundimtare

AutoSynthData, nga ServiceNow CoreAI / ServiceNow-AI dhe i shkruar në artikullin publik nga Esakkivel Esakkiraja, është një kanal që i shndërron dështimet e agjentëve të synuar plus sukseset e mësuesve në detyra trajnimi sintetik të validuara për mjediset e ndërmarrjeve. Ai i abstrakton dështimet në karta të specifikimeve të aftësive të pastruara, gjeneron detyra të reja pa zbuluar udhëzimet ose trajektoret origjinale, mbledh demonstrime nga mësuesit dhe zbaton kontrollin e cilësisë në nivel mostre dhe në nivel grupi përpara rregullimit të imët të mbikëqyrur.

Modeli mendor praktik është detyra si specifikim i sistemit, kërkesë e përdoruesit dhe verifikues - me fizibilitet, realizëm dhe vështirësi të mbajtura në tension, dhe me verifikues që nuk janë as shumë të dobët dhe as të fiksuar në një rrugë. Fazat "Synim pastaj Shumëzim", një rregull pa mbjellje të mëtejshme për mostrat e shumëzuara, kontrollues i përbashkët plus përshtatës mjedisi dhe rivlerësimi pas SFT krijojnë një kufi lëvizës mbi boshllëqet e mbetura.

Në EnterpriseOps Gym, rezultatet hibride të raportuara nga autorët me Gemma-4-26B-A4B-it dhe Qwen3.8-27B tregojnë afërsisht dy mijë mostra në rreth tetëmbëdhjetë orë dhe një rritje domethënëse të suksesit të Pass@1 dhe verifikuesit, duke ngushtuar një pjesë të madhe të hendekut me një model referimi. ITSM me DeepSeek-V4.1-Flash si mësues tregon se Pass@1 rritet nga 18.77 përqind në 27.18 përqind në rreth 1,994 mostra gjatë një periudhe më të gjatë kohore. Trajtojini këto shifra si sinjale të hulumtuara në fusha specifike, në varësi të besnikërisë së mësuesit, verifikuesit dhe mjedisit - dhe mbajeni të mësuarit përforcues si një zgjatim të planifikuar të ciklit, jo një pretendim të përfunduar.

Nëse e mbani mend një fjali: agjentët e ndërmarrjeve përmirësohen kur dështimet bëhen mësime të abstraktuara, të shumëfishta dhe të verifikuara brenda sistemeve që duhet të operojnë çdo ditë - jo kur ekipet thjesht riluajnë të njëjtën gabim.

Shembull praktik: Zgjerimi i rasteve të forta ITSM nga një grup dështimesh të ngrira në stilin e palestrës

Skenari

Një ekip platforme ndërmarrjesh në Mbretërinë e Bashkuar - imagjinoni një grup operacionesh të shërbimeve financiare të mesme që drejton ITSM në stilin ServiceNow me dritare ndryshimesh, marrëdhënie CMDB dhe tranzicione të kontrolluara nga politikat - ka një agjent të ngjashëm me prodhimin që vazhdon të hasë në të njëjtën klasë pune: përditësime midis tabelave që duhet të respektojnë një parakusht miratimi, kërkime të artikujve të njohurive që bien ndesh me ngrirjet lokale të ndryshimeve dhe kërkesa hibride që kryqëzojnë ITSM në mjete operacionesh ngjitur.

Ata ngrijnë një suitë private në stilin EnterpriseOps Gym (sandbox i kontejnerizuar, kontrolle të rezultateve SQL, tabela të mbjella, rregulla politikash) në mënyrë që rezultatet të jenë të krahasueshme javë pas jave. Ekzekutimet diagnostikuese tregojnë se agjenti i synuar dështon aty ku një mësues më i fortë ka sukses. Lidershipi dëshiron më shumë sinjal trajnimi pa riprodhuar të njëjtat numra biletash dhe ID entitetesh. AutoSynthData (ose një cikël ekuivalent sintisajzer-nga-dështimet nëse tubacioni i kërkimit është i mbyllur në grumbullin e tyre) është kandidati: shndërroni dështimet e kontrastit në karta të specifikuara të aftësive, gjeneroni detyra të reja, mbledhni demo të mësuesve dhe më pas - në mënyrë kritike - rishikoni gjurmët sintetike nga njeriu para çdo ritrajnimi.

Asgjë nuk dërgohet në Gym Pass@1 më vete. Të dhënat e sintetizuesit trajtohen si kurrikulë kandidate, jo si e vërtetë falas.

Çfarë i duhet asistentit

• Qasje në përshtatësin e mjedisit të ngrirë në stilin e palestrës: mjetet, gjendja fillestare, politikat dhe verifikuesit SQL (ose verifikuesit ekuivalentë të bazuar në gjendje).
• Regjistrat e vlerësimit të çiftëzuar: dështimet e objektivave në kontrast me sukseset e mësuesve në të njëjtat detyra.
• Një skemë karte që kap aftësitë, mjetet/formën e rrjedhës së punës, kontrastin dështim/sukses, vetitë e kërkuara të gjendjes përfundimtare dhe dimensionet e lejuara të variacionit - pa kërkesa origjinale, entitete, trajektore ose elementë të brendshëm verifikues.
• Rregullat e pastrimit të PII dhe politikave (ID-të e biletave, emrat e përdoruesve, emrat e CI-së, fushat e rregulluara) përpara se çdo gjë të dalë nga sandbox-i ose të hyjë në një kërkesë të gjeneratorit.
• Një radhë shqyrtimi njerëzor për detyrat sintetike të marra si mostra dhe gjurmët e mësuesve (fizibiliteti, realizmi, saktësia e verifikuesit, rastet e refuzimit/pamundësisë).
• Kushte të qarta ndalimi: Synoni dhe më pas shumëzoni fazat; mostrat e shumëzuara nuk mbjellin raunde të mëtejshme shumëzimi.

Shembull udhëzimi

Platforma çon te operatori i kurrikulës (ose te një asistent orkestrimi që vetëm harton karta dhe shqyrton paketa - nuk ritrajnon ose promovon modele):

"Ekzekutoni diagnostikimin Pass@1 në ITSM-në e ngrirë dhe fetat Hybrid kundrejt objektivit tonë aktual dhe mësuesit të caktuar. Për çdo krahasim ku objektivi dështon dhe mësuesi ia del mbanë të paktën dy nga tre provat, hartoni një kartë të dezinfektuar të specifikimeve të aftësive: emërtoni aftësinë, listoni mjetet përkatëse, përcaktoni vetitë e kërkuara të gjendjes përfundimtare dhe listoni dimensionet e kontrollueshme (banda e përparësisë, klasa përkatëse e CI, flamuri i dritares së ndryshimit, lloji i konfliktit të njohurive). Hiqni numrat e biletave, identifikuesit e përdoruesve, emrat e CI dhe trajektoret e papërpunuara. Gjeneroni një grup detyrash të reja në fazën Target vetëm nga ato karta. Kërkojini mësuesit të demonstrojë sukseset. Zbatoni brezin e vështirësisë (objektivi ≤1/3, mësuesi ≥2/3), verifikimin pozitiv dhe negativ dhe kritikën/riparimin e kufizuar. Prodhoni një paketë rishikimi me mostra të stratifikuara 5% plus çdo kartë refuzimi/pamundësie. Mos e filloni SFT-në derisa dy rishikues të nënshkruajnë paketën dhe kontrollet e pastrimit PII të kalojnë. Pas SFT-së në një pikë kontrolli kandidate, rivlerësoni në suitën e ngrirë dhe në një grup përputhjeje të saktë që nuk e kemi përdorur kurrë për gjenerim. Raportoni mbulimin sipas klasës së dështimit dhe shkallës së regresionit kundrejt pika e kontrollit të prodhimit të mëparshëm. Mos e promovoni vetëm rezultatin e palestrës.”

Si ta testoni

1. Kyçja bazë: Regjistroni shkallët e suksesit të Pass@1 dhe verifikuesit në suitën e ngrirë sipas klasës së dështimit (porositja paraprake, refuzimi i dritares së ndryshimit, mjeti hibrid i kryqëzuar, konflikti i njohurive). Mbajeni suitën dhe farat të pandryshueshme për ciklin.
2. Auditimi i kartave: Kontrolloni menjëherë që gjeneratorët të mos marrin kurrë kërkesa, entitete ose gjurmë mësuesish origjinale - vetëm karta.
3. Shembull i Kontrollit të Cilësisë: Konfirmoni që trajektoret pozitive kalojnë verifikuesit dhe rezultatet e gabuara të mutuara dështojnë. Refuzoni detyrat që janë të parëndësishme për objektivin ose hidhni monedhë për mësuesin.
4. Rishikimi njerëzor: Rishikuesit shënojnë çdo mostër si mbajtje / riparim / rënie në bazë të fizibilitetit, realizmit dhe sigurisë së politikave. Ndiqni marrëveshjen e ndërrishikuesit në një nëngrup të përbashkët.
5. Mbaj përputhjen e saktë: Pas SFT-së së kandidatit, vlerëso një mbajtje të detyrave reale (ose të ngrira më parë) që nuk kanë qenë kurrë të dhëna hyrëse në hartim ose gjenerim. Vlerëso veçmas pothuajse parafrazimet e detyrave të trajnimit për të zbuluar memorizimin sipërfaqësor.
6. Porta e regresionit: Çdo klasë dështimi që përkeqësohet kundrejt pikës së kontrollit të prodhimit të mëparshëm bllokon promovimin derisa të shpjegohet ose rregullohet.

Rezultati

Mos shpikni përqindje të nxjerra nga përdorimi këtu. Përdorni një plan matjeje dhe etiketoni shifrat e publikuara të kërkimit si PRETENDIM PËR ARTIKULLIN kur i citoni ato.

Plani i matjes (çfarë duhet të raportojë ky ekip):

• Mbulimi i klasës së dështimit: pjesa e klasave të diagnostikuara të boshllëqeve që prodhuan ≥N detyra të pranuara të fazës së synuar pas kontrollit të cilësisë (përcaktoni N që në fillim, p.sh. 20 detyra të pranuara për klasë).
• Përputhje e saktë e mbajtjes: Pass@1 / sukses i verifikuesit në mbajtjen e paprekur para kundrejt SFT-së pas kandidatit (të njëjtat fara, i njëjti verifikues).
• Shkalla e regresionit: numri i klasave të dështimit ku Pass@1 bie kundrejt pikës së kontrollit të prodhimit paraprak; bllokohet nëse ndonjë klasë kritike për sigurinë regreson.
• Rendimenti i rishikimit: mbaj/riparo/rëniet e shkallës së rishikimit njerëzor; nëse shkalla e rënies rritet, ndërprite. Shumëzo dhe rregullo kartat ose verifikuesit.
• Dështimet në pastrim: numri i mostrave që nuk i kalojnë kontrollet PII/politika para nënshkrimit të shqyrtimit (objektivi: zero del në grupin SFT).

PRETENDIMI I ARTIKULLIT (raportuar nga autori në EnterpriseOps Gym - jo rezultati i matur i këtij ekipi): Vrapimet hibride me Gemma-4-26B-A4B-it si objektiv dhe Qwen3.8-27B si mësues prodhuan rreth 2,000 mostra në afërsisht 18 orë, me mesataren Pass@1 që u rrit me rreth 7.2 pikë përqindjeje dhe suksesin e verifikuesit që lëvizi nga 63.01% në 68.55%. ITSM me DeepSeek-V4.1-Flash si mësues e zhvendosi mesataren Pass@1 nga 18.77% në 27.18% në rreth 1,994 mostra gjatë një periudhe më të gjatë (~66 orë). Trajtojini ato si sinjale të hulumtuara në fusha dhe çifte specifike, jo si një garanci universale për një grumbull prodhimi në Mbretërinë e Bashkuar.

Forma ilustruese e programit (supozime, jo fitime të matura): Nëse ekipi pranon ~2,000 mostra të kontrolluara nga Kontrolli i Cilësisë (QC) për një cikël ITSM, buxheton inferencën e mësuesve plus rishikimin me 5% mostër të stratifikuar dhe promovon vetëm kur mbajtja e programit nuk regreson klasat kritike për sigurinë, "rezultati" që ata mund të pretendojnë me një fytyrë të drejtpërdrejtë është pjekuria e procesit - kurrikula e audituar, gjurmët e pastruara dhe deltat e krahasueshme të suitës së ngrirë - jo një rritje përqindjeje e premtuar.

Çfarë mund të shkojë keq

• Trajtimi i sintisajzerit si e vërtetë e lirë: Anashkalimi i rishikimit njerëzor ose verifikimit negativ u lejon verifikuesve lejues të pranojnë mbeturina në shkallë të gjerë.
• Rrjedhje e entitetit: Futja e ID-ve origjinale të biletave ose gjurmëve të mësuesve në gjenerator shkakton mbipërshtatje të tepruar të informacionit; ekzistojnë karta për ta parandaluar këtë.
• Shumëzim i Pakufizuar: Lënia e mostrave të shumëzuara të mbjellin raunde të mëtejshme largohet nga aftësia e emëruar.
• Dërgimi i rezultateve të palestrës: Promovimi për shkak se Pass@1 i frozen-suite u rrit ndërsa trafiku i holdout ose i prodhimit në hije u përkeqësua.
• Tavani i dobët i mësuesit: Nëse mësuesi nuk mund ta kalojë brezin e suksesit ≥2/3, SFT-ja mëson demo të pabesueshme.
• Verifikues të paqartë: Rubrikat e bisedave në vend të kontrolleve shtetërore i vlerësojnë përfundimet e gabuara rrjedhshëm si sukses.
• Refuzimi për shkak të trajnimit të pamjaftueshëm: Optimizimi vetëm për mutacione të përfundueshme e lë dritaren e ndryshimit dhe rënien e politikave të brishta.
• Shpëtimi nga PII: Kërkesa sintetike që rifutin CI të vërtetë ose emra përdoruesish pas një pastrimi sipërfaqësor.

Përgatitje praktike për të marrë me vete

Përdorni sythe në stilin AutoSynthData - ose një model ekuivalent të sintisajzerit nga dështimet nëse tubacioni ServiceNow CoreAI nuk është i disponueshëm në qiranë tuaj - për të shumëzuar rastet e vështira dhe të verifikueshme të ITSM nga boshllëqet e diagnostikuara. Sanitizojini në karta aftësish, kontrolloni me vështirësi dhe verifikim pozitiv/negativ, pastroni PII dhe mostrat e rishikimit njerëzor para SFT. Matni mbulimin e klasës së dështimit, mbani përputhjen e saktë dhe shkallën e regresionit. Citoni shifrat e ARTIKULLIT të palestrës vetëm si kontekst kërkimor të jashtëm. Të dhënat e sintisajzerit janë karburant kurrikular, jo një garanci: auditoni mostrat, mbajeni suitën të ngrirë për krahasim të drejtë dhe mos dërgoni kurrë rezultatin e palestrës më vete.

Pyetje të shpeshta

Çfarë është AutoSynthData dhe për cilin problem merret?

AutoSynthData është një tubacion ServiceNow CoreAI / ServiceNow-AI, i përshkruar nga Esakkivel Esakkiraja, që i bashkon dështimet e një agjenti të synuar së bashku me fitoret e një mësuesi më të fortë në detyra trajnimi sintetike të validuara për mjediset e ndërmarrjeve. Ai përqendrohet në kompetencën e mjedisit - politikat lokale, skemat, mjetet dhe gjendjen - në vend të njohurive të përgjithshme të gjera. Qëllimi është të shumëfishohet puna e vështirë dhe e verifikueshme në mënyrë që rregullimi i imët i mbikëqyrur të mund të plotësojë boshllëqet specifike të mjedisit në vend që të riprodhojë të njëjtën gabim.

Pse kompetenca mjedisore është e ndryshme nga aftësia e modelit të gjerë?

Agjentët e ndërmarrjeve shpesh pengohen sepse vetë mjedisi është i veçantë: politikat e biletave, veçoritë e skemës, kontratat e mjeteve, bazat e të dhënave të mbjella dhe rrjedhat e punës ndër-sistemore. Një model që duket i fortë në standardet e hapura mund të ngrijë ende në një dritare ndryshimi, një marrëdhënie CMDB ose një verifikues që inspekton gjendjen përfundimtare. Aftësia e gjerë nuk është e njëjtë me të diturit se si sillen sistemet, rregullat dhe gjendja e të dhënave tuaja nën tranzicionet e qeverisura nga politikat.

Cila është forma praktike e detyrës që përdor AutoSynthData?

Një formë e realizueshme është detyra e barabartë me specifikimin e sistemit, kërkesën e përdoruesit dhe verifikuesin. Specifikimi i sistemit përmban kufizime, politika dhe gjendje fillestare, të tilla si farat e bazës së të dhënave dhe artikujt e njohurive. Kërkesat e përdoruesit vlerësohen për fizibilitet, realizëm dhe vështirësi. Verifikuesit mbështeten idealisht në kontrollet e rezultateve të bazuara në SQL ose gjendje, në mënyrë që ata të vlerësojnë botën pasi agjenti vepron, jo vetëm rrugën e saktë të ndjekur nga shenja.

Si i parandalojnë kartat e dezinfektuara me specifikime aftësish mbipërshtatjen?

Ekzekutimet diagnostikuese bëjnë kontrast aty ku objektivi dështon dhe mësuesi ka sukses, pastaj i distilojnë këto raste në karta të pastra të specifikimeve të aftësive. Një kartë regjistron formën e aftësive, mjeteve ose rrjedhës së punës, kontrastin e dështimit/suksesit, vetitë e kërkuara të gjendjes përfundimtare dhe dimensionet që mund të ndryshojnë. Gjeneratori nuk i sheh kurrë kërkesat, entitetet, trajektoret ose detajet e verifikuesit origjinal - vetëm kartat - kështu që detyrat e reja shtyjnë në thelb pa parafrazuar një episod të memorizuar.

Cilat janë fazat Target dhe Multiply në tubacion?

Faza e synuar përqendrohet në mostrat kryesore të verifikuara rreth boshllëqeve - detyrat me sinjalin më të lartë afër vendit ku agjenti i dobët prishet. Faza e shumëzimit rrotullon variante të reja të objektivave të pranuar. Mostrat e shumëzuara nuk mund të mbjellin raunde të mëtejshme shumëzimi, gjë që e mban larg nga aftësia e emëruar nën kontroll. Pas rregullimit të imët të mbikëqyrur, rivlerësimi e zhvendos kurrikulën drejt boshllëqeve të mbetura si një kufi lëvizës në vend të një grumbulli statik.

Si e mban kontrolli i cilësisë në nivel mostre të besueshme detyrat sintetike?

Një filtër vështirësie i zgjidhësit favorizon detyrat që objektivi i zgjidh në më së shumti një nga tre provat, ndërsa mësuesi ka sukses në të paktën dy nga të treja. Verifikimi pozitiv ka nevojë për një trajektore referimi për të kaluar; verifikimi negativ ka nevojë për rezultate të gabuara të mutuara për të dështuar. Një cikël kritike dhe riparimi me një limit ripërpjekjesh përpiqet të riparojë gabimet që gati sa nuk kanë ndodhur, dhe meta-rishikimi në nivel grupi kontrollon mbulimin, diversitetin, tepricën dhe objektivat që dështojnë në të gjithë grupin.

Çfarë arkitekture përdor AutoSynthData në të gjitha domenet e ndërmarrjes?

Ai çiftëzon një kontrollues të përbashkët me një përshtatës mjedisi. Kontrolluesi ekzekuton diagnostikimin, kartelëzimin, gjenerimin, demonstrimet e mësuesve, portat e cilësisë dhe rishikimin në grup. Përshtatësi i lidh këto hapa në një sandbox konkret - mjetet, gjendjen, politikat dhe verifikuesit - në mënyrë që i njëjti lak kontrolli të mund të tregojë fusha të ndryshme pa rishkruar logjikën e kurrikulës nga e para.

Çfarë është EnterpriseOps Gym në këtë kontekst kërkimor?

EnterpriseOps Gym është një platformë agjentësh ndërmarrjesh në shkallë të gjerë që përdoret si platformë testimi stresi, me rreth 1,150 detyra të kuruara nga ekspertë në 8 fusha, afërsisht 512 mjete, rreth 164 tabela të bazës së të dhënave, ekzekutim të kontejnerizuar, verifikim të rezultateve bazuar në SQL, operacione të qeverisura nga politikat, skenarë hibridë dhe trajektore me gjendje të qëndrueshme në horizont të gjatë. AutoSynthData nuk pretendohet se e ka shpikur atë palestër; palestra tregon ciklin e sintezës në veprim.

Cilat rezultate të raportuara nga autorët shfaqen për cilësimet Hibride dhe ITSM?

Në EnterpriseOps Gym, Hybrid funksionon me Gemma-4-26B-A4B-it si objektiv dhe Qwen3.8-27B si mësues, duke prodhuar rreth 2,000 mostra në afërsisht 18 orë, me një mesatare Pass@1 që është rritur me rreth 7.2 pikë përqindjeje dhe suksesin e verifikuesit që është rritur nga 63.01% në 68.55%. ITSM me DeepSeek-V4.1-Flash si mësues e ka lëvizur mesataren Pass@1 nga 18.77% në 27.18% në rreth 1,994 mostra gjatë një periudhe më të gjatë kohore. Trajtojini ato si sinjale të hulumtuara në çifte specifike, jo si një garanci universale prodhimi.

Cilat gabime duhet të shmangin ekipet kur përdorin cikle sintetizuese nga dështimet?

Mos i trajtoni të dhënat sintetike si të vërteta të lira ose mos e anashkaloni shqyrtimin njerëzor dhe verifikimin negativ. Shmangni futjen e ID-ve origjinale të biletave ose gjurmëve të mësuesve në gjenerator, duke lejuar që mostrat e shumëzuara të mbjellin raunde të mëtejshme ose duke promovuar në Gym Pass@1 vetë ndërsa trafiku i pezulluar ose në hije përkeqësohet. Gjithashtu, shikoni mësuesit e dobët nën brezin e suksesit, rubrikat e paqarta të bisedave në vend të kontrolleve shtetërore, rastet e refuzimit të nën-trajnimit dhe shmangien e PII pas një përplasjeje sipërfaqësore.

Referencat

1. Fytyrë përqafuese — AutoSynthData — huggingface.co
2. Palestra EnterpriseOps — enterpriseops-gym.github.io
3. arXiv — arxiv.org
4. GitHub — EnterpriseOps-Gym — github.com