Si të Ndërtoni një Agjent të IA-së [Video dhe Kuiz]

Përgjigje e shkurtër: Për të ndërtuar një agjent të IA-së që funksionon në praktikë, trajtojeni atë si një cikël të kontrolluar: merrni të dhëna, vendosni veprimin tjetër, thirrni një mjet me fushëveprim të ngushtë, vëzhgoni rezultatin dhe përsëriteni derisa të kalojë një kontroll i qartë "i përfunduar". Ai e meriton vlerën e tij kur detyra është me shumë hapa dhe e drejtuar nga mjetet; nëse një kërkesë e vetme e zgjidh atë, anashkaloni agjentin. Shtoni skema të rrepta mjetesh, kufij hapash, regjistrime dhe një validues/kritik në mënyrë që kur mjetet dështojnë ose të dhënat hyrëse janë të paqarta, agjenti të përshkallëzohet në vend që të përsëritet në cikël.

Përmbledhjet kryesore:

Cikli i kontrolluesit: Implemento hyrjen→vepro→vëzhgo përsëritjen me kushte të qarta ndalimi dhe hapa maksimalë.

Dizajni i mjeteve: Mbajini mjetet të ngushta, të shtypura, me leje dhe të validuara për të parandaluar kaosin "bëj_çdo gjë".

Higjiena e kujtesës: Përdorni gjendje kompakte afatshkurtër plus rikthim afatgjatë; shmangni hedhjen e transkripteve të plota.

Rezistenca ndaj keqpërdorimit: Shtoni lista lejimesh, kufij normash, idempotencë dhe "përdorim të shpejtë" për veprime të rrezikshme.

Testueshmëria: Mirëmbani një suitë skenarësh (dështime, paqartësi, injeksione) dhe riekzekutoni pas çdo ndryshimi.

---

1) Çfarë është një agjent i inteligjencës artificiale, në terma të një personi normal 🧠

Një agjent i IA-së është një lak. Dokumentet e LangChain “Agjentë”

Kaq ishte. Një lak me një tru në mes.

Input → think → vepro → vëzhgo → përsërit. ReAct paper (arsyetoj + veproj)

Ku:

• Të dhënat hyrëse janë një kërkesë përdoruesi ose një ngjarje (email i ri, kërkesë mbështetjeje, ping nga sensori).

• Think është një model gjuhësor që arsyeton rreth hapit tjetër.

• Act është thirrja e një mjeti (kërko dokumente të brendshme, ekzekuto kod, krijo një biletë, harto një përgjigje). Udhëzues për thirrjen e funksionit OpenAI

• Observe është leximi i rezultatit të mjetit.

• Përsëritja është pjesa që e bën të duket si "agjent" në vend të "bisedës". Dokumentet e LangChain "Agjentë"

Disa agjentë janë në thelb makro inteligjente. Të tjerë veprojnë më shumë si një operator i ri që mund të xhonglojë detyrat dhe të rikuperohet nga gabimet. Të dyja llogariten.

Gjithashtu, nuk keni nevojë për autonomi të plotë. Në fakt… ndoshta nuk e dëshironi 🙃

---

2) Kur duhet të krijoni një agjent (dhe kur nuk duhet) 🚦

Ndërtoni një agjent kur:

• Puna është me shumë hapa dhe ndryshon në varësi të asaj që ndodh në mes të rrugës.

• Puna kërkon përdorimin e mjeteve (bazat e të dhënave, CRM-të, ekzekutimin e kodit, gjenerimin e skedarëve, shfletuesit, API-të e brendshme). Dokumentet e “Mjeteve” të LangChain

• Ju dëshironi rezultate të përsëritshme me parmakë mbrojtës, jo vetëm përgjigje të njëhershme.

• Mund ta përkufizosh "u krye" në një mënyrë që një kompjuter mund ta kontrollojë, madje edhe në mënyrë të lirshme.

Mos ndërtoni një agjent kur:

• Një kërkesë e thjeshtë + përgjigje e zgjidh këtë problem (mos e teproni me inxhinierinë, do ta urreni veten më vonë).

• Ju nevojitet determinizëm i përsosur (agjentët mund të jenë pak a shumë konsistentë, por jo robotikë).

• Nuk ke asnjë mjet ose të dhënë për t'u lidhur - atëherë janë kryesisht vetëm vibracione.

Le të jemi të sinqertë: gjysma e "projekteve të agjentëve të inteligjencës artificiale" mund të jenë një rrjedhë pune me disa rregulla degëzimi. Por, ndonjëherë edhe atmosfera ka rëndësi 🤷♂️

---

3) Çfarë e bën një version të mirë të një agjenti të inteligjencës artificiale ✅

Ja seksioni "Çfarë e bën një version të mirë të" që kërkuat, përveçse do të jem pak i drejtpërdrejtë:

Një version i mirë i një agjenti të inteligjencës artificiale nuk ai që mendon më vështirë. Është ai që:

• E di se çfarë lejohet të bëjë (kufijtë e fushëveprimit)

• Përdor mjetet në mënyrë të besueshme (thirrje të strukturuara, ripërpjekje, skadime kohore) Udhëzues për thirrjen e funksioneve OpenAI AWS “Skadime kohore, ripërpjekje dhe tërheqje me luhatje kohore”

• Mban gjendjen të pastër (memorie që nuk kalbet) LangChain “Përmbledhje e memories”

• Shpjegon veprimet e saj (gjurmët e auditimit, jo deponitë e arsyetimit sekret) NIST AI RMF 1.0 (besueshmëria dhe transparenca)

• Ndalesa të përshtatshme (kontrollet e përfundimit, hapat maksimalë, përshkallëzimi) Dokumentet e LangChain “Agjentë”

• Dështon në mënyrë të sigurt (kërkon ndihmë, nuk halucinon autoritet) NIST AI RMF 1.0

• Është i testueshëm (mund ta ekzekutoni në skenarë të paracaktuar dhe të shënoni rezultatet)

Nëse agjenti juaj nuk mund të testohet, në thelb është një makinë lojërash fati shumë e sigurt. Argëtuese në festa, tmerruese në prodhim 😬

---

4) Blloqet kryesore ndërtuese të një agjenti ("anatomia" 🧩)

Shumica e agjentëve të ngurtë kanë këto pjesë:

A) Laku i kontrolluesit 🔁

Ky është orkestruesi:

• shëno golin

• pyet modelin për veprimin e ardhshëm

• mjet ekzekutimi

• shto vëzhgim

• përsërite derisa të mbarojnë dokumentet e LangChain “Agjentët”

B) Mjete (të njohura edhe si aftësi) 🧰

Mjetet janë ato që e bëjnë një agjent efektiv: Dokumentet e LangChain “Mjeteve”

• pyetje në bazën e të dhënave

• dërgimi i email-eve

• tërheqjen e skedarëve

• kodi i ekzekutimit

• thirrjen e API-ve të brendshme

• shkrim në spreadsheet-e ose CRM

C) Kujtesa 🗃️

Dy lloje kanë rëndësi:

• Kujtesa afatshkurtër: konteksti i ekzekutimit aktual, hapat e fundit, plani aktual

• kujtesa afatgjatë: preferencat e përdoruesit, konteksti i projektit, njohuritë e marra (shpesh nëpërmjet ngulitjeve + një ruajtje vektoriale) letër RAG

D) Politika e planifikimit dhe vendimmarrjes 🧭

Edhe nëse nuk e quani "planifikim", ju nevojitet një metodë:

• listat e kontrollit

• Punim ReAct “mendo pastaj përdor mjetin” në stilin ReAct

• grafikët e detyrave

• modelet mbikëqyrës-punëtor

• modelet mbikëqyrës-punëtor Microsoft AutoGen (kornizë shumë-agjentësh)

E) Mbrojtëse mbrojtëse dhe vlerësim 🧯

• lejet

• skema të sigurta mjetesh Daljet e Strukturuara të OpenAI

• validimi i rezultateve

• kufijtë e hapave

• prerjet e druve

• teston NIST AI RMF 1.0

Po, është më shumë inxhinieri sesa nxitje. Kjo është… pak a shumë qëllimi.

---

5) Tabela Krahasuese: mënyra të njohura për të ndërtuar një agjent 🧾

Më poshtë është një “Tabelë Krahasimi” realiste - me disa veçori të veçanta, sepse ekipet e vërteta janë të veçanta 😄

Mjet / Kornizë	Audienca	Çmimi	Pse funksionon	Shënime (kaos i vogël)
LangChain	ndërtuesit që pëlqejnë komponentët në stilin lego	i lirë + infra	ekosistem i madh për mjete, kujtesë, zinxhirë	Mund të hash shpejt spageti nëse nuk i emërton gjërat qartë
Indeksi i Llamës	Ekipet me RAG të rënda	i lirë + infra	modele të forta rikthimi, indeksim, lidhës	shumë mirë kur agjenti juaj është në thelb "kërko + vepro"… gjë që është e zakonshme
Qasja në stilin e Asistentëve OpenAI	ekipet që duan përgatitje më të shpejtë	bazuar në përdorim	modelet e thirrjes së mjeteve të integruara dhe gjendja e ekzekutimit	më pak fleksibël në disa cepa, por i pastër për shumë aplikacione	OpenAI ekzekuton thirrjen e funksionit të Asistentëve të OpenAI
Bërthama Semantike	Zhvilluesit që duan orkestrim të strukturuar	pak a shumë i lirë	abstraksion i pastër për aftësitë/funksionet	ndihet "e rregullt në ndërmarrje" - ndonjëherë kjo është një kompliment 😉
AutoGen	eksperimentues me shumë agjentë	pak a shumë i lirë	modelet e bashkëpunimit agjent-me-agjent	mund të flasë tepër; të vendosë rregulla të rrepta për ndërprerjen e marrëdhënieve të punës
CrewAI	Tifozë të “ekipit të agjentëve”	pak a shumë i lirë	rolet + detyrat + dorëzimi i përgjegjësive janë të lehta për t'u shprehur	Funksionon më mirë kur detyrat janë të qarta, jo të buta
Kashtë	kërkim + tubacione njerëz	pak a shumë i lirë	tubacione të ngurta, rikuperim, përbërës	më pak "teatër agjentësh", më shumë "fabrikë praktike"
Rrotullojeni vetë (cikli i personalizuar)	të fiksuar pas kontrollit (të dashur)	koha juaj	magji minimale, qartësi maksimale	zakonisht më e mira afatgjatë… derisa të rishpikësh gjithçka 😅

Nuk ka një fitues të vetëm. Zgjedhja më e mirë varet nëse puna kryesore e agjentit tuaj është rikuperimi i të dhënave, ekzekutimi i mjeteve, koordinimi midis shumë agjentëveapo automatizimi i rrjedhës së punës.

---

6) Si të ndërtoni një agjent të inteligjencës artificiale hap pas hapi (receta aktuale) 🍳🤖

Kjo është pjesa që shumica e njerëzve e anashkalojnë, dhe pastaj pyesin veten pse agjenti sillet si një rakun në një qilar.

Hapi 1: Përcaktoni punën me një fjali 🎯

Shembuj:

• "Hartoni një përgjigje të klientit duke përdorur kontekstin e politikës dhe biletës, pastaj kërkoni miratim."

• "Hetoni një raport gabimi, riprodhojeni atë dhe propozoni një rregullim."

• "Shndërroni shënimet e papërsosura të takimeve në detyra, pronarë dhe afate."

Nëse nuk mund ta përcaktosh thjesht, as agjenti yt nuk mundet. Dua të them se mundet, por do të improvizojë, dhe improvizimi është vendi ku buxhetet shkojnë drejt fundit.

Hapi 2: Vendosni nivelin e autonomisë (i ulët, mesatar, pikant) 🌶️

• Autonomi e ulët: sugjeron hapa, klikimet njerëzore "miratojnë"

• Medium: ekzekuton mjetet, harton skicën e rezultatit, përshkallëzohet në rast pasigurie

• I lartë: ekzekuton nga fillimi në fund, u dërgon ping njerëzve vetëm në raste përjashtimesh.

Filloni më poshtë se sa dëshironi. Gjithmonë mund ta rrisni nivelin më vonë.

Hapi 3: Zgjidhni strategjinë tuaj të modelit 🧠

Zakonisht zgjidhni:

• një model i fortë për gjithçka (i thjeshtë)

• një model i fortë + model më i vogël për hapa të lirë (klasifikim, drejtim)

• modele të specializuara (vizion, kod, të folur) nëse është e nevojshme

Vendos gjithashtu:

• maksimumi i tokenëve

• temperatura

• nëse lejoni gjurmë të gjata arsyetimi brenda kompanisë (mundeni, por mos e ekspozoni zinxhirin e papërpunuar të mendimit tek përdoruesit fundorë)

Hapi 4: Përcaktoni mjetet me skema të rrepta 🔩

Mjetet duhet të jenë:

• i ngushtë

• shtypur

• me leje

• Rezultatet e Strukturuara të OpenAI të validuara

Në vend të një mjeti të quajtur do_anything(input: string), krijoni:

• search_kb(pyetje: varg) -> rezultate[]

• create_ticket(title: string, body: string, priority: enum) -> ticket_id

• send_email(te: string, subjekti: string, trupi: string) -> statusi Udhëzuesi i thirrjes së funksionit OpenAI

Nëse i jepni agjentit një sharrë elektrike, mos u habitni kur ai të krasit një gardh duke hequr edhe gardhin.

Hapi 5: Ndërtoni ciklin e kontrolluesit 🔁

Cikli minimal:

1. Filloni me qëllimin + kontekstin fillestar

2. Pyete modelin: "Veprimi tjetër?"

3. Nëse thirret mjeti - ekzekutohet mjeti

4. Shtoji vëzhgimin

5. Kontrolloni gjendjen e ndalimit

6. Përsëritni (me hapa maksimalë) dokumentet e LangChain “Agjentë”

Shto:

• kohëzgjatje

• ripërpjekje (kujdes - ripërpjekjet mund të përsëriten) AWS “Skadime kohore, ripërpjekje dhe tërheqje me luhatje”

• formatimi i gabimit të mjetit (i qartë, i strukturuar)

Hapi 6: Shtoni kujtesën me kujdes 🗃️

Afatshkurtër: mbani një "përmbledhje të gjendjes" kompakte të përditësuar në çdo hap. LangChain "Përmbledhje e memories"
Afatgjatë: ruani fakte të qëndrueshme (preferencat e përdoruesit, rregullat e organizatës, dokumentet e qëndrueshme).

Rregull i përgjithshëm:

• nëse ndryshon shpesh - mbajeni afatshkurtër

• nëse është e qëndrueshme - ruajeni për një kohë të gjatë

• nëse është e ndjeshme - ruajeni në sasi minimale (ose mos e ruani fare)

Hapi 7: Shtoni vlerësimin dhe një kalim "kritik" 🧪

Një model i lirë dhe praktik:

• agjenti gjeneron rezultatin

• validuesi kontrollon strukturën dhe kufizimet

• rishikime opsionale të modelit kritik për hapa që mungojnë ose shkelje të politikave NIST AI RMF 1.0

Jo perfekt, por kap një sasi tronditëse gjërash të pakuptimta.

Hapi 8: Regjistro gjithçka që do të pendohesh që nuk e ke regjistruar 📜

Regjistri:

• thirrjet e mjeteve + hyrjet + daljet

• vendimet e marra

• gabime

• rezultatet përfundimtare

• abetare vëzhgueshmërie OpenTelemetry dhe tokens dhe latencë

Të ardhmen - do të të falënderosh. Të tashmen - do ta harrosh. Kjo është thjesht jeta 😵💫

---

7) Thirrje mjetesh që nuk të thyen shpirtin 🧰😵

Thirrja e mjeteve është vendi ku “Si të ndërtoni një agjent të inteligjencës artificiale” shndërrohet në inxhinieri të vërtetë softuerësh.

Bëjini mjetet të besueshme (të jesh i besueshëm është mirë)

Mjetet e besueshme janë:

• determinist

• i ngushtë në fushëveprim

• e lehtë për t’u testuar

• i sigurt për të riekzekutuar Stripe “Kërkesat Idempotent”

Shtoni parmakë mbrojtës në shtresën e mjeteve, jo vetëm kërkesa

Kërkesat janë sugjerime të sjellshme. Validimi i mjeteve është një derë e mbyllur. Rezultatet e Strukturuara të OpenAI

Bëj:

• listat e lejimeve (cilat mjete mund të ekzekutohen)

• validimi i të dhënave hyrëse

• kufijtë e tarifave OpenAI udhëzues për kufijtë e tarifave

• kontrolle lejesh për përdorues/organizatë

• "Modaliteti i funksionimit të thatë" për veprime të rrezikshme

Projektimi për dështim të pjesshëm

Mjetet dështojnë. Rrjetet lëkunden. Autorizimi skadon. Një agjent duhet:

• interpretoni gabimet

• riprovo me tërheqje kur është e përshtatshme Strategjia e riprovimit të Google Cloud (tërheqje + luhatje)

• zgjidhni mjete alternative

• përshkallëzohet kur ngec në vend

Një truk mjaft efektiv: kthe gabime të strukturuara si:

• lloji: gabim_auth

• lloji: nuk është gjetur

• type: rate_limited
  Pra, modeli mund të përgjigjet në mënyrë inteligjente në vend që të bjerë në panik.

---

8) Kujtesë që të ndihmon në vend që të të përndjekë 👻🗂️

Kujtesa është e fuqishme, por mund të shndërrohet edhe në një sirtar mbeturinash.

Kujtesa afatshkurtër: mbajeni kompakte

Përdorim:

• hapat e fundit N

• një përmbledhje ekzekutimi (e përditësuar në çdo cikël)

• plani aktual

• kufizimet aktuale (buxheti, koha, politikat)

Nëse i vendosni të gjitha në kontekst, merrni:

• kosto më e lartë

• vonesë më e ngadaltë

• më shumë konfuzion (po, edhe atëherë)

Kujtesa afatgjatë: rikthim në vend të "mbushjes"

Shumica e "kujtesës afatgjatë" është më shumë si:

• ngulitje

• dyqan vektorësh

• Letër RAG me gjenerim të shtuar (RAG)

Agjenti nuk i mëson përmendësh. Ai i merr fragmentet më të rëndësishme gjatë kohës së ekzekutimit. LlamaIndex “Hyrje në RAG”

Rregullat praktike të kujtesës

• Ruaj "preferencat" si fakte të qarta: "Përdoruesit i pëlqejnë përmbledhjet me pika dhe i urren emojit" (lol, jo këtu 😄)

• Ruani "vendimet" me vula kohore ose versione (përndryshe grumbullohen kontradikta)

• Mos i ruani kurrë sekretet, përveç nëse keni vërtet nevojë për to

Dhe ja metafora ime e papërsosur: kujtesa është si një frigorifer. Nëse nuk e pastron kurrë, përfundimisht sanduiçi yt do të ketë shije qepësh dhe keqardhjeje.

---

9) Modele planifikimi (nga të thjeshta në të zbukuruara) 🧭✨

Planifikimi është thjesht dekompozim i kontrolluar. Mos e bëni mistik.

Modeli A: Planifikues i listës së kontrollit ✅

• Modeli jep një listë hapash

• Ekzekuton hap pas hapi

• Përditëson statusin e listës së kontrollit

I shkëlqyer për integrim. I thjeshtë, i testueshëm.

Modeli B: Cikli ReAct (arsye + veprim) 🧠→🧰

• modeli vendos thirrjen e ardhshme të mjetit

• vëzhgon prodhimin

• përsërit punimin ReAct

Kjo është ndjesia klasike e agjentit.

Modeli C: Mbikëqyrës-punëtor 👥

• mbikëqyrësi e ndan qëllimin në detyra

• punëtorët kryejnë detyra të specializuara

• mbikëqyrësi bashkon rezultatet Microsoft AutoGen (kornizë shumë-agjentësh)

Kjo është e vlefshme kur detyrat janë të paralelizueshme, ose kur dëshironi "role" të ndryshme si:

• studiues

• kodues

• redaktor

• Kontrolluesi i cilësisë

Modeli D: Planifiko-pastaj-zbato me riplanifikim 🔄

• krijo plan

• ekzekutoj

• nëse rezultatet e mjeteve ndryshojnë realitetin, riplanifikoni

Kjo e pengon agjentin të ndjekë me kokëfortësi një plan të keq. Edhe njerëzit e bëjnë këtë, përveç nëse janë të lodhur, në të cilin rast ata ndjekin gjithashtu plane të këqija.

---

10) Siguria, besueshmëria dhe mospushimi nga puna 🔐😅

Nëse agjenti juaj mund të ndërmarrë veprime, ju nevojitet dizajn sigurie. Nuk është "mirë ta kesh". Nevojë. NIST AI RMF 1.0

Kufij të fortë

• hapat maksimalë për vrapim

• thirrje maksimale të mjeteve për minutë

• shpenzime maksimale për seancë (buxheti i tokenëve)

• mjete të kufizuara pas miratimit

Trajtimi i të dhënave

• redakto të dhënat e ndjeshme para regjistrimit

• mjedise të ndara (zhvillimi kundrejt prodhimit)

• lejet e mjetit me privilegjin më të ulët

Kufizime sjelljeje

• detyroni agjentin të citojë fragmente të provave të brendshme (jo lidhje të jashtme, vetëm referenca të brendshme)

• kërkojnë flamuj pasigurie kur besimi është i ulët

• kërko "bëj pyetje sqaruese" nëse të dhënat hyrëse janë të paqarta

Një agjent i besueshëm nuk është më i sigurti në vetvete. Është ai që e di kur po hamendëson… dhe e thotë vetë.

---

11) Testimi dhe vlerësimi (pjesa që të gjithë e shmangin) 🧪📏

Nuk mund ta përmirësosh atë që nuk mund ta matësh. Po, kjo shprehje është e shëmtuar, por është çuditërisht e vërtetë.

Ndërtoni një grup skenarësh

Krijo 30-100 raste testimi:

• shtigje të lumtura

• raste në skaj

• Rastet e "dështimit të mjeteve"

• kërkesa të paqarta

• kërkesa kundërshtare (përpjekje për injeksion të menjëhershëm) OWASP 10 më të mirat për aplikacionet LLM OWASP LLM01 Injeksion i menjëhershëm

Rezultatet e pikëve

Përdorni metrika të tilla si:

• shkalla e suksesit të detyrës

• koha për përfundim

• shkalla e rikuperimit të gabimeve të mjetit

• shkalla e halucinacioneve (pretendim pa prova)

• shkalla e miratimit njerëzor (nëse është në modalitetin e mbikëqyrur)

Testet e regresionit për pyetjet dhe mjetet

Sa herë që ndryshoni:

• skema e mjetit

• udhëzimet e sistemit

• logjika e rikuperimit

• formati i memories
  Ekzekutoni përsëri paketën.

Agjentët janë kafshë të ndjeshme. Si bimët e shtëpisë, por më të shtrenjta.

---

12) Modele vendosjeje që nuk e shkatërrojnë buxhetin tuaj 💸🔥

Filloni me një shërbim të vetëm

• API-ja e kontrolluesit të agjentit

• shërbimet e mjeteve pas saj

• regjistrimi + monitorimi i abetareve të vëzhgueshmërisë OpenTelemetry

Shtoni kontrollet e kostos herët

• rezultatet e rikuperimit të ruajtjes në memorje

• kompresimi i gjendjes së bisedës me përmbledhje

• duke përdorur modele më të vogla për drejtimin dhe nxjerrjen

• duke kufizuar "modalitetin e të menduarit të thellë" në hapat më të vështirë

Zgjedhja e zakonshme e arkitekturës

• kontrollues pa shtetësi + depo e jashtme gjendjesh (DB/redis)

• Thirrjet e mjeteve janë idempotente aty ku është e mundur Stripe “Kërkesat idempotente”

• radhë për detyra të gjata (në mënyrë që të mos e mbani hapur një kërkesë në internet përgjithmonë)

Gjithashtu: ndërto një "çelës fikës". Nuk do të të duhet derisa të të duhet vërtet, vërtet 😬

---

13) Shënime përmbyllëse - versioni i shkurtër i Si të Ndërtoni një Agjent të IA-së 🎁🤖

Nëse nuk mbani mend asgjë tjetër, mbani mend këtë:

• Ndërtimi i një agjenti të inteligjencës artificiale ka të bëjë kryesisht me ndërtimin e një cikli të sigurt rreth një modeli. Dokumentet e LangChain “Agjentë”

• Filloni me një qëllim të qartë, autonomi të ulët dhe mjete të rrepta. Rezultatet e Strukturuara të OpenAI

• Shtoni kujtesë nëpërmjet rikthimit, jo mbushjes së pafundme të kontekstit. Letër RAG

• Planifikimi mund të jetë i thjeshtë - listat e kontrollit dhe riplanifikimi shkojnë shumë larg.

• Regjistrimi dhe testet e shndërrojnë kaosin e agjentëve në diçka që mund ta transportoni. Abetare e vëzhgueshmërisë së OpenTelemetry

• Mbrojtëset i përkasin kodit, jo vetëm kërkesave. 10 më të mirat e OWASP për aplikacionet LLM.

Një agjent nuk është magji. Është një sistem që merr vendime të mira mjaftueshëm shpesh sa të jetë i vlefshëm… dhe pranon humbjen përpara se të shkaktojë dëme. Në një farë mënyre, qetësues 😌

Dhe po, nëse e ndërton siç duhet, të jep ndjesinë sikur të punësosh një praktikant të vogël dixhital që nuk fle kurrë, herë pas here bie në panik dhe i pëlqen puna me dokumente. Pra, në thelb një praktikant.

Shembull nga bota reale: Ndërtimi i një agjenti të inteligjencës artificiale të triazhit mbështetës 🎫🤖

Skenari

Imagjinoni një ekip të vogël SaaS që merr 120-180 tiketa mbështetjeje në javë. Shumica e tiketave nuk janë komplekse, por prapëseprapë kërkojnë kohë: rivendosja e fjalëkalimeve, pyetje në lidhje me faturimin, raportime gabimesh, kërkesa për veçori dhe mesazhe "a pritet kjo sjellje?".

Një chatbot i thjeshtë mund të hartojë përgjigje, por nuk mund të kontrollojë me siguri statusin e llogarisë, të kërkojë në bazën e njohurive, të klasifikojë urgjencën ose të vendosë kur duhet të ndërhyjë një njeri. Këtu ka kuptim një agjent.

Qëllimi nuk është të zëvendësohet plotësisht mbështetja. Qëllimi është të ndërtohet një agjent me autonomi të ulët që lexon një tiketë të re, mbledh kontekstin, harton një përgjigje dhe e drejton tiketën në radhën e duhur. Një njeri prapëseprapë miraton çdo gjë që ka të bëjë me klientin.

Çfarë i duhet asistentit

Për të punuar në mënyrë të sigurt, agjenti ka nevojë për një grup të vogël dhe të kontrolluar të inputeve dhe mjeteve:

• Teksti i biletës hyrëse

• Lloji i planit të klientit, mosha e llogarisë dhe statusi i fundit i faturimit

• Regjistri i ndryshimeve të fundit të produktit ose incidentet e njohura

• Artikuj të qendrës së ndihmës së brendshme

• Një mjet përditësimi biletash me fusha të kufizuara

• Një mjet për përgjigje draft, jo një mjet për dërgimin e email-eve

• Një politikë e qartë përshkallëzimi

Lista e mjeteve duhet të mbetet e ngushtë me qëllim:

• qendra_e_ndihmës_së_kërkimit(pyetje)

• get_customer_status(identiteti_i_klientit)

• kontrollo_incidentet_e_njohura(zona_e_produktit)

• përditëso_kategorinë_e_biletës(id_i_biletës, kategoria, përparësia)

• draft_reply(id_i_biletës, tekst_përgjigjeje)

• escalate_to_human(id_i_ticket_it, arsyeja)

Vini re se çfarë mungon: nuk ka asnjë mjet për "rimbursim klienti", "mbyll llogarinë" ose "dërgo përgjigjen përfundimtare". Këto veprime janë shumë të rrezikshme për një version të parë.

Shembull udhëzimi

Ju jeni një agjent mbështetjeje për një produkt SaaS.

Detyra juaj është të klasifikoni biletat hyrëse, të mbledhni vetëm kontekstin e nevojshëm, të hartoni një përgjigje të sugjeruar dhe të vendosni nëse bileta duhet të përshkallëzohet.

Rregullat:

Mos u dërgoni përgjigje direkt klientëve.

Përdorni qendrën e ndihmës përpara se t'u përgjigjeni pyetjeve në lidhje me produktin.

Kontrolloni statusin e klientit përpara se t'u përgjigjeni pyetjeve në lidhje me faturimin, planin ose aksesin.

Nëse klienti përmend kërcënime ligjore, humbje të të dhënave, probleme sigurie, dështim pagese, anulim llogarie ose gjuhë të zemëruar, përshkallëzoni çështjen te një njeri.

Nëse përgjigjja nuk mbështetet nga përmbajtja e qendrës së ndihmës ose të dhënat e llogarisë së gjetura, thuaj çfarë mungon dhe përshkallëzo çështjen.

Ndalo pas maksimumi 6 thirrjeve të mjetit.

Një biletë është "e përfunduar" vetëm kur ka një kategori, përparësi, përmbledhje provash, përgjigje draft dhe "nevojitet miratim njerëzor" ose "të përshkallëzuar".

Si ta testoni

Filloni me 30 bileta testimi përpara se ta lidhni me përdoruesit e drejtpërdrejtë:

• 10 bileta normale, të tilla si rivendosja e fjalëkalimit, kufijtë e planit dhe pyetjet themelore "si ta bëj?"

• 5 bileta faturimi

• 5 raporte defektesh

• 5 bileta të paqarta me informacion të humbur

• 5 bileta të rrezikshme, të tilla si shqetësime për sigurinë, kërkesa për rimbursim dhe ankesa të zemëruara

Për secilën biletë, shënoni pikët:

• A zgjodhi kategorinë e duhur?

• A përdori mjetin e duhur përpara se të përgjigjej?

• A i shmangu pretendimet e pambështetura?

• A i përshkallëzoi biletat e rrezikshme?

• A kishte nevojë drafti për redaktime të shumta?

Një tabelë e thjeshtë me vlerësime që kalojnë/nuk kalojnë është e mjaftueshme në fillim. Mos e mbingarkoni sistemin e vlerësimit përpara se të dini nëse agjenti po ofron vlerë.

Rezultati

Rezultati ilustrues: Bazuar në matjen e kohës së 30 tiketave shembullore para dhe pas përdorimit të këtij rrjedhe pune, një drejtues mbështetjeje mund të matë sa vijon:

• Koha mesatare e triazhit të parë u ul nga 6 minuta për biletë në 90 sekonda

• 30 bileta të analizuara në 45 minuta në vend të 3 orëve

• 27 nga 30 bileta të vendosura në kategorinë e saktë

• 5 nga 5 biletat e rrezikshme u përshkallëzuan saktë

• 0 përgjigje nga klientët të dërguara pa miratim njerëzor

Këto numra janë një vlerësim shembullor, jo një pikë referimi e provuar. Matja është e lehtë për t’u përsëritur: matni manualisht të njëjtën sasi biletash testimi, pastaj kaloni ato përmes agjentit dhe krahasoni saktësinë e kategorisë, saktësinë e përshkallëzimit dhe kohën e redaktimit.

Çfarë mund të shkojë keq

Agjenti mund të dështojë ende në mënyra shumë normale.

Mund ta klasifikojë një klient të frustruar, por të thjeshtë, si "urgjent", sepse gjuha tingëllon e zemëruar. Mund të hartojë një përgjigje të sigurt nga një artikull ndihme i vjetëruar. Mund të vazhdojë të kërkojë kur masa e duhur është përshkallëzimi. Mund të ekspozojë shumë detaje të llogarisë në një draft përgjigjeje.

Zgjidhja nuk është "shkruani një kërkesë më të mirë" dhe shpresoni. Shtoni kufizime të rrepta:

• Përshkallëzo kur shfaqet gjuhë faturimi, sigurie, ligjore ose anulimi

• Kërkoni citime nga artikujt e ndihmës së brendshme në përmbledhjen e provave

• Mbajeni "dërgo përgjigje" pas miratimit njerëzor

• Regjistro çdo thirrje për mjetin dhe draftin përfundimtar

• Përsëriteni paketën e testimit me 30 bileta pas çdo ndryshimi të kërkesës, mjetit ose politikës

Përgatitje praktike për të marrë me vete

Një agjent i vlefshëm nuk ka nevojë për autonomi dramatike. Në këtë shembull, vlera vjen nga një cikël i kontrolluar: lexo tiketën, merr kontekstin e duhur, klasifikoje atë, harto një përgjigje dhe ndalo për shqyrtim. Kjo është shumë më e lehtë për t'u besuar, testuar dhe përmirësuar sesa një agjent që përpiqet të "trajtojë mbështetjen" me një kërkesë gjigante.

---

Pyetje të shpeshta

Çfarë është një agjent i IA-së, me fjalë të thjeshta?

Një agjent i inteligjencës artificiale është në thelb një cikël që përsëritet: merr të dhëna, vendos për hapin tjetër, përdor një mjet, lexon rezultatin dhe përsërit derisa të përfundojë. Pjesa "agjente" vjen nga veprimi dhe vëzhgimi, jo vetëm nga biseda. Shumë agjentë janë thjesht automatizim i zgjuar me akses në mjete, ndërsa të tjerë sillen më shumë si një operator i ri që mund të rikuperohet nga gabimet.

Kur duhet të ndërtoj një agjent të IA-së në vend që të përdor vetëm një kërkesë?

Ndërtoni një agjent kur puna është me shumë hapa, ndryshon bazuar në rezultate të ndërmjetme dhe kërkon përdorim të besueshëm të mjeteve (API, baza të dhënash, bileta, ekzekutim kodi). Agjentët janë gjithashtu të dobishëm kur dëshironi rezultate të përsëritshme me parmakë mbrojtës dhe një mënyrë për të kontrolluar "përfunduar". Nëse një përgjigje e thjeshtë e shpejtë funksionon, një agjent zakonisht është mbingarkesë e panevojshme dhe mënyra shtesë dështimi.

Si mund të ndërtoj një agjent të IA-së që nuk ngec në cikle?

Përdorni kushte të forta ndalimi: hapa maksimalë, thirrje maksimale të mjeteve dhe kontrolle të qarta përfundimi. Shtoni skema të strukturuara mjetesh, afate kohore dhe ripërpjekje që nuk do të ripërpiqen përgjithmonë. Regjistroni vendimet dhe rezultatet e mjeteve në mënyrë që të shihni se ku dalin nga binarët. Një valvul sigurie e zakonshme është përshkallëzimi: nëse agjenti është i pasigurt ose përsërit gabimet, ai duhet të kërkojë ndihmë në vend që të improvizojë.

Cila është arkitektura minimale për Si të Ndërtoni një Agjent të IA-së?

Minimumi që ju nevojitet është një cikël kontrolluesi që i jep modelit një qëllim dhe kontekst, kërkon veprimin tjetër, ekzekuton një mjet nëse kërkohet, shton vëzhgimin dhe e përsërit. Gjithashtu ju nevojiten mjete me forma të rrepta hyrjeje/daljeje dhe një kontroll "të përfunduar". Edhe një cikël që e kryen vetë mund të funksionojë mirë nëse e mbani gjendjen të pastër dhe zbatoni kufizime hapash.

Si duhet ta projektoj thirrjen e mjeteve në mënyrë që të jetë e besueshme në prodhim?

Mbajini mjetet të ngushta, të shtypura, me leje dhe të validuara - shmangni një mjet të përgjithshëm "bëj_çdo gjë". Preferoni skema të rrepta (si daljet e strukturuara/thirrja e funksioneve) në mënyrë që agjenti të mos mund të ndryshojë me dorë hyrjet. Shtoni lista lejimesh, kufij shpejtësie dhe kontrolle lejesh përdoruesi/organizate në shtresën e mjeteve. Projektoni mjetet në mënyrë që të jenë të sigurta për t'u riekzekutuar kur është e mundur, duke përdorur modele idempotence.

Cila është mënyra më e mirë për të shtuar memorie pa e përkeqësuar agjentin?

Trajtojeni kujtesën si dy pjesë: gjendja e ekzekutimit afatshkurtër (hapat e fundit, plani aktual, kufizimet) dhe rikthimi afatgjatë (preferencat, rregullat e qëndrueshme, dokumentet përkatëse). Mbajeni gjendjen afatshkurtër kompakte me përmbledhje të ekzekutimit, jo transkripte të plota. Për kujtesën afatgjatë, rikthimi (integrimet + ruajtja e vektorëve/modelet RAG) zakonisht është më i mirë se "futja" e gjithçkaje në kontekst dhe ngatërrimi i modelit.

Cilin model planifikimi duhet të përdor: listë kontrolli, ReAct ose mbikëqyrës-punonjës?

Një planifikues liste kontrolli është i shkëlqyer kur detyrat janë të parashikueshme dhe dëshironi diçka të lehtë për t’u testuar. Cikli në stilin ReAct shkëlqen kur rezultatet e mjeteve ndryshojnë atë që bëni më pas. Modelet mbikëqyrës-punëtor (si ndarja e roleve në stilin AutoGen) ndihmojnë kur detyrat mund të paralelizohen ose të përfitojnë nga role të dallueshme (hulumtues, kodues, sigurues cilësie). Planifikimi dhe pastaj ekzekutimi me riplanifikim është një terren i mesëm praktik për të shmangur planet kokëforta të këqija.

Si mund ta bëj një agjent të sigurt nëse ai mund të ndërmarrë veprime të vërteta?

Përdorni lejet me privilegjet më të pakta dhe kufizoni mjetet e rrezikshme pas modaliteteve të miratimit ose "punësimit të thatë". Shtoni buxhete dhe kufizime: hapat maksimalë, shpenzimet maksimale dhe limitet e thirrjeve të mjeteve për minutë. Redaktoni të dhënat e ndjeshme para regjistrimit dhe ndani mjediset e zhvillimit nga ato të prodhimit. Kërkoni flamuj pasigurie ose pyetje sqaruese kur të dhënat hyrëse janë të paqarta, në vend që të lejoni që besimi të zëvendësojë provat.

Si ta testoj dhe vlerësoj një agjent të IA-së në mënyrë që të përmirësohet me kalimin e kohës?

Ndërtoni një suitë skenarësh me shtigje të suksesshme, raste të skajshme, dështime të mjeteve, kërkesa të paqarta dhe përpjekje për injektim të shpejtë (stili OWASP). Vlerësoni rezultatet si suksesi i detyrës, koha e përfundimit, rikuperimi nga gabimet e mjeteve dhe pretendimet pa prova. Sa herë që ndryshoni skemat e mjeteve, kërkesat, rikuperimin ose formatimin e kujtesës, riekzekutoni suitën. Nëse nuk mund ta testoni, nuk mund ta dërgoni në mënyrë të besueshme.

Si mund të vendos një agjent pa rritur vonesën dhe kostot?

Një model i zakonshëm është një kontrollues pa gjendje me një ruajtje të jashtme gjendjesh (DB/Redis), shërbime mjetesh pas tij dhe regjistrim/monitorim të fortë (shpesh OpenTelemetry). Kontrolloni kostot me ruajtjen në memorje të rikuperimit, përmbledhje kompakte gjendjesh, modele më të vogla për rrugëzim/nxjerje dhe kufizimin e "mendimit të thellë" në hapat më të vështirë. Përdorni radhë për detyra të gjata në mënyrë që të mos i mbani të hapura kërkesat në internet. Gjithmonë përfshini një çelës mbyllës.

Referencat

1. Instituti Kombëtar i Standardeve dhe Teknologjisë (NIST) - NIST AI RMF 1.0 (besueshmëria dhe transparenca) - nvlpubs.nist.gov

2. OpenAI - Rezultate të Strukturuara - platform.openai.com

3. OpenAI - Udhëzues për thirrjen e funksioneve - platform.openai.com

4. OpenAI - Udhëzues për kufijtë e tarifave - platform.openai.com

5. OpenAI - Drejton API - platform.openai.com

6. OpenAI - Thirrja e funksioneve të asistentëve - platform.openai.com

7. LangChain - Dokumentet e agjentëve (JavaScript) - docs.langchain.com

8. LangChain - Dokumentet e mjeteve (Python) - docs.langchain.com

9. LangChain - Përmbledhje e kujtesës - docs.langchain.com

10. arXiv - Punim mbi ReAct (arsye + veprim) - arxiv.org

11. arXiv - Punim RAG - arxiv.org

12. Biblioteka e Ndërtuesve të Shërbimeve Web të Amazon (AWS) - Kohëzgjatje kohore, ripërpjekje dhe tërheqje me luhatje - aws.amazon.com

13. OpenTelemetry - Abetare e Vëzhgueshmërisë - opentelemetry.io

14. Stripe - Kërkesa Idempotent - docs.stripe.com

15. Google Cloud - Strategjia e riprovimit (mbyllje + luhatje) - docs.cloud.google.com

16. OWASP - 10 më të mirat për aplikacionet e modeleve të gjuhëve të mëdha - owasp.org

17. OWASP - LLM01 Injeksion i menjëhershëm - genai.owasp.org

18. LlamaIndex - Hyrje në RAG - developers.llamaindex.ai

19. Microsoft - Bërthama Semantike - learn.microsoft.com

20. Microsoft AutoGen - Korniza shumë-agjentëshe (dokumentacion) - microsoft.github.io

21. CrewAI - Konceptet e agjentëve - docs.crewai.com

22. Kashtë (deepset) - Dokumentacioni i retrieverëve - docs.haystack.deepset.ai

Gjeni IA-në më të fundit në Dyqanin Zyrtar të Asistentëve të IA-së

Rreth Nesh