A është inteligjenca artificiale e besueshme? [Video dhe kuiz]

Përgjigje e shkurtër: IA nuk është e besueshme si tipar: varet nga detyra, cikli i rikuperimit dhe një njeri që është ende në pritje. Koha e funksionimit tregon nëse pika fundore është përgjigjur; vërtetësia tregon nëse përgjigjja ka qenë e tillë. Përdoreni kur një gabim është i lirë ose i kapshëm; ngadalësoni kur një gabim është i shtrenjtë.

Përmbledhjet kryesore:

Llogaridhënia: Përmendni kush e shqyrton, kush mund ta ndalojë atë dhe kush është përgjegjës.

Transparenca: Inspektoni copën e marrë, përndryshe jeni ende në mjegull.

Auditueshmëria: Regjistron kërkesat, pjesët e marra dhe dërgimet në mënyrë që gabimet të mund të gjurmohen.

Rezistenca ndaj keqpërdorimit: Dështoni në çështjet e parave; mos shpikni kurrë numra, dritare apo politika.

Rezultate ilustruese: Trajtojeni një test ilustrues me 20 pyetje si një hartë, jo si provë 95%.

Artikuj që mund t'ju pëlqejnë të lexoni pas këtij:

🔗 Si ta përdorni IA-në në jetën e përditshme
Zbuloni mënyra praktike se si IA mund të thjeshtojë detyrat dhe rutinat e përditshme.

🔗 Si ta përdorni IA-në në punë.
Mësoni mënyra praktike për të përmirësuar produktivitetin dhe efikasitetin me IA-në.

🔗 A mund të mendojë vetë inteligjenca artificiale?
Eksploroni nëse inteligjenca artificiale mund të mendojë dhe të arsyetojë vërtet në mënyrë të pavarur.

🔗 Cilat janë llojet e IA-së?
Kuptoni llojet kryesore të IA-së, aftësitë dhe ndryshimet kryesore.

Çfarë do të thotë "i besueshëm" kur makina është një papagall statistikor

Besueshmëria, në gjuhën e përditshme, do të thotë që mund të mbështetesh në diçka.

Me automatizimin që flet, një grumbull vetish të ndryshme fshihen nën një fjalë të vetme. Faktikiteti. Konsistenca. Kalibrimi - nëse besimi i modelit përputhet me mundësinë që është i saktë, apo nëse thjesht... tingëllon i sigurt. Siguria. Kohëzgjatja e funksionimit. Ndjeshmëria e menjëhershme. Sjellja në raste ekstreme. Sjellja pas ndërrimit të shpërndarjes, kur bota e drejtpërdrejtë nuk është bota e trajnimit. Asnjëra prej këtyre nuk dështon së bashku. Kjo është pjesa që njerëzit e anashkalojnë.

Një chatbot mund të jetë "aktiv" gjithë javën dhe prapë të gabojë të martën pasdite. Një ndihmës-pilot kodimi mund të jetë mirë në standard dhe pastaj të halucinojë një API që duket tamam si ai i vërtetë. Metafora që njerëzit përdorin është "një koleg i ri". Është e papërsosur - të rinjtë turpërohen - por është më afër se "orakulli".

Testi i drejtpërdrejtë është i besueshëm në çfarë, për kë, me cilin cikël përreth tij. Përndryshe, po e vlerësoni një blender nëse mund të përballojë taksat.

Koha e funksionimit nuk është vërtetësi - dy lloje të ndryshme të "besueshmërisë"

Njerëzit e Operacioneve dhe njerëzit e së vërtetës përdorin të njëjtën fjalë dhe flasin pa lidhje me njëri-tjetrin.

Koha e funksionimit është "a dha përgjigjen pikës fundore". Vërtetësia është "a ishte përgjigjja, pra". Qeverisja kujdeset për të dyja, dhe rreziku i modelit qëndron në këtë boshllëk të shëmtuar. Mund të kesh një shërbim që nuk e mbyll sytë kurrë dhe prapë të dërgosh një gënjeshtër të rrjedhshme në një tiketë klienti. I besueshëm në kuptimin SRE. Jo i besueshëm në kuptimin "ju lutem mos shpikni një politikë rimbursimi".

Mendoj se kjo është e qartë e shkruar. Nuk është e qartë në orën 4 të pasdites kur përgjigja është e shpejtë dhe radha është një përbindësh. Shpejtësia ndihet si kompetencë. Ngadalësia më parë nënkuptonte që dikush po mendonte. Tani shpejtësia është sinjali se askush nuk po mendon.

Siguria është një tjetër bosht. Një model që refuzon një jailbreak të pakëndshëm është "i besueshëm" në një mënyrë vlerësimi të sigurisë dhe prapëseprapë mund të shtrembërojë një përmbledhje të shënimeve tuaja.

Rrjedhshmëria dhe gabimi janë më të këqija se të folurit e ngathët dhe të drejtpërdrejtë

Ky është problemi i besimit, dhe është ai që kafshon.

Saktësia dhe rrjedhshmëria u ndanë dhe rrjedhshmëria e mbajti shtëpinë në kontroll. Një LLM do t'ju japë ritëm, duke u mbrojtur në vendet e duhura, ndoshta një formë citimi të rreme, por të bukur. Truri juaj lexon "ky person e di". Përveç se nuk është një person, dhe kalibrimi është shpesh i tmerrshëm - besim i lartë, e vërtetë mesatare, e dhënë si një fjalim kryesor.

Një përgjigje e gabuar e ngathët të bën dyshues. Një përgjigje e gabuar rrjedhshëm të bën të ndalosh së kontrolluari. Ky nuk është një ndryshim i vogël; është e gjithë historia në një fjali paksa të pakëndshme.

Paragjykimi është gjithashtu aty, jo gjithmonë si një fyerje, më shumë si një parazgjedhje rreth asaj se kush është në dhomë dhe cila aromë e anglishtes konsiderohet neutrale. Njerëzit mashtrohen sepse gjuha është ndërfaqja jonë më e vjetër e besimit. Nëse flet si një përmbledhje, ne e trajtojmë atë si një përmbledhje. Vazhdoj të dua të jem më cinik për këtë. Pastaj lexoj një përmbledhje të qartë dhe supet më lëshojnë. Duke hyrë në një takim, përmbledhja duket e përfunduar. Ajo fjali po bën shumë punë, dhe prapë: kështu hyn gabimi në lojë.

Besueshmëria sipas situatës, jo sipas markës

Markat janë një shpërqendrim. Krahasimi që meriton mbajtje është puna. Grindjet do të debatojnë me njëra-tjetrën. Kjo është në rregull.

Gjithsesi. Nëse mjeti juaj i preferuar është i aftë me draftet dhe e kapni veten duke i kërkuar atij një rehati ligjore në mesnatë, kjo nuk është një përmirësim. Kjo është harta që thotë se e keni lënë pas dore.

Halucinacione, devijim dhe lloji i qetë i gabimit

Halucinacioni merr vëmendjen kryesore sepse është pikant: një libër që nuk ekziston, një funksion që nuk është dërguar kurrë, një klauzolë politike me një numër që ndihet zyrtar.

Drift është më pak kinematografik. Bota lëviz. Mbetjet e modelit qëndrojnë. Ti bën një pyetje që kishte nevojë për kontekst të ri dhe merr një përgjigje të organizuar mirë nga moti i mëparshëm. Gati sa nuk shkrova "nga një epokë tjetër" atje, që është ekzagjerimi që kjo temë fton. Nuk është një epokë tjetër. Thjesht nuk është tani.

Gabimi i heshtur është ai që më intereson më shumë. Një përmbledhje që heq përjashtimin. Një parafrazë që e ngre një "ndoshta" në një "domosdoshmëri". Faktikiteti mund të jetë "teknikisht i mirë" ndërsa kuptimi ka rënë.

Ndjeshmëria e menjëhershme e përkeqëson situatën. Ndrysho mbështjellësin dhe "faktet" shkëlqejnë. Pyet si skeptik, gjej mbrojtje. Pyet si shef me nxitim, merr pretendime të tepërta. Nëse vlerësimi yt përdor vetëm një kostum, është paksa gënjeshtër. Më vjen keq.

Breakdown-et nga burgu janë në prag të krimit dhe unë nuk dua një film me grabitje. Nëse një sistem mund të bindet që të heqë dorë nga sjelljet e tij, besueshmëria nuk ka të bëjë vetëm me të vërtetën; ka të bëjë me faktin nëse kangjellat mbrojtëse janë një lak apo një poster.

Mbetjet e stërvitjes, njohuritë e ndenjura dhe pse mbajtja në tokë nuk është një shkop magjik

Modelet gjenerative stërviten në një grumbull, pastaj drejtohen nga e marta juaj. Rikthimi është përpjekja e të rriturve për ta futur të tashmen në atë grumbull. Tokëzimi do të thotë "përgjigje nga kjo, jo nga mjegulla". Kur dështon, dështon me mirësjellje.

Dështim klasik: dokumenti që e merr merr përsipër një dokument që pothuajse nuk është gjetur. Gjeneratori e shkruan atë me qetësi të plotë. Ju shihni një objekt në formën e burimit dhe instinkti juaj i kontrollit aktivizohet. Unë e bëj këtë. Ju ndoshta e bëni këtë. Ideja e citimit është e saktë; zbatimi është aq i mirë sa rezultati.

Njohuritë e vjetra janë rrjedhja tjetër. Disa detyra kanë nevojë për një gjendje të gjallë - çmimet, inventari, formulimi aktual i një politike. Disa të tjera kanë nevojë për një mjeshtëri të qëndrueshme, si p.sh. si të strukturohet një memo. Përziejini ato dhe merrni një përgjigje shumë të sigurt në lidhje me një botë që tashmë ka ndryshuar. Ndryshimi i shpërndarjes është emri i të rriturve: shpërndarja e gjallë nuk është shpërndarja e trajnimit, dhe rastet e skajshme jetojnë në boshllëk.

Edhe një gjë, e thënë me një vizë lidhëse të gabuar sepse kështu duken shënimet e mia: tokëzimi është një dysheme - jo një aureolë. Nëse nuk mund ta inspektosh copën e rikuperuar, je ende në mjegull, vetëm me ndriçim më të mirë.

Teatri i vlerësimit: pse një demo është një test i tmerrshëm

Demot janë ndriçim. Pikat e referencës janë pak më të sinqerta dhe prapëseprapë nuk janë puna juaj.

Një kërkesë e qartë dhe një detyrë që modeli e ka parë me mijëra kushërinj - sigurisht që duket e mprehtë. Vlerësim që mat vetëm atë që po mat një shfaqje skenike. Flukset e punës live kanë ngjitje të ngatërruar, skedarë që mungojnë dhe një përdorues që do të pranojë përgjigjen e parë që i zvogëlon ankthin.

Pikat e referencës kanë rëndësi. Ato thjesht nuk lëvizin aq mirë sa pretendojnë kuvertat. Një rezultat në tabelën e renditjes nuk është kalibrim në biletat tuaja. Rreziku i modelit në një kompani është "çfarë ndodh kur kjo është e gabuar në vëllim", jo "a kaloi një set pyetjesh". Testet që ju nevojiten janë të thata: qëndroni brenda pasazhit të rikuperuar; sinjalizoni pasigurinë në vend që të mashtroni; qëndroni konsistent kur riformuloni; dështoni në mbyllje (refuzoni, pyetni, shtyni) në vend që të dështoni në hapje (shpikni).

Kam parë njerëz që e trajtojnë një përfundim të vetëm mbresëlënës si provë. Kjo është si të vendosësh se një restorant është "i besueshëm" sepse mezeja ishte e bukur. Ndoshta është. Ndoshta kuzhina kaloi dhjetë minuta të mira.

Një kontradiktë e vogël që po vjen: Unë ende përdor demo për të krijuar një ide. Thjesht nuk e marr me qira idenë.

A është inteligjenca artificiale e besueshme? Vetëm nëse dikush është ende fajtor

Modeli "Human-in-the-loop" është i vetmi dizajn që përputhet me mënyrat e dështimit.

Nëse askush nuk është përgjegjës, sistemi do të përdoret sikur të ishte i tillë. Qeverisja është emri jo seksi për "kush e shqyrton, kush mund ta ndalojë, çfarë regjistrohet, çfarë ndodh pas një gabimi". Agjentët e bëjnë këtë më të mprehtë sepse ndërmarrin veprime, jo vetëm paragrafë. Një draft që nuk e keni dërguar është i lirë. Një thirrje mjeti që nuk e keni menduar nuk është.

Përmendni se kush është fajtor. Nëse përgjigjja është "modelja", nuk keni përgjigje. Modelet nuk shkojnë në takim pas incidentit. Një person shkon, ose një fshesë me korrent dhe pastaj një avokat.

Zgjidh kontrollet që përputhen me rrezen e shpërthimit. Një rishikim në nivel kontrolli drejtshkrimor për një postim në rrjetet sociale. Një kontroll burimi për çdo gjë që pretendon një fakt. Një profesionist për çdo gjë që lidhet me mjekësinë, ligjin, kreditin, operacionet kritike për sigurinë. Për këto, njeriu nuk është "në ciklin e ngjarjeve". Njeriu është cikli. Modeli është një cung. Ky nuk është skepticizëm si personalitet. Ky është shije.

Tani për tani është në modë ta fshehësh çekun pas një butoni të shndritshëm dërgimi. Këto ditë, kështu automatizon aksidentalisht një thashethem. Kohët e fundit kam qenë më i ashpër në lidhje me këtë dhe puna është përmirësuar.

Si të pyesësh në mënyrë që të kapësh gabimin

Mund t’i hetosh këto sisteme pa u bërë një dyshues profesional i dritës së diellit.

• Kërkoni qëllimisht për pasigurinë. "Çfarë do ta bënte këtë të gabuar?" është më e mira nga "e bënte të sigurt".

• Ndani përmbledhjen nga brezi në brez kur të mundeni. Shikoni më parë fragmentet. Pastaj kërkoni përshkrimin.

• Ndrysho kostumin. Riformuloje. Kërkojini të argumentojë të kundërtën. Ndjeshmëria e menjëhershme është si një elektrik dore nëse e përdorni në atë mënyrë.

• Kufizime të detyrueshme: "vetëm nga teksti që ngjita", "nëse mungon, thuaj mungon". Modelet i binden çuditërisht kësaj... derisa nuk i binden më. Kontrollo gjithsesi.

• Detyrat me një verifikues preferohen. Kompilues, linterë, kontrolle skemash, një palë sy të dytë. Besueshmëria e do një vlerësues.

• Kushtojini vëmendje treguesit: specifikë shtesë. Një figurë me pamje të saktë, një rasë e emërtuar, një fjali e rregullt me ​​numër - këtu i pëlqen të zbukurohet halucinacioni.

• Mbajeni hapin njerëzor të dukshëm. Nëse ndërfaqja e përdoruesit e fsheh kontrollin, njerëzit e anashkalojnë kontrollin. Kjo është mobilje, jo një dështim moral.

Asnjë nga këto nuk e bën modelin "të vërtetë". E bën ciklin më pak të besueshëm. Gjë që, mendoj, është produkti.

Ku të lë harta

Pra, pyetja po/jo funksionon vetëm si një derë.

A është IA e besueshme? Jo si një tipar. Si një veti e një detyre, një seti të dhënash, një cikli rikuperimi, një vlerësim që nuk është një demo dhe një njeri që ende duhet ta kuptojë me bindje. Rrjedhshmëria do të vazhdojë të na mashtrojë sepse ne jemi kafshë gjuhësore dhe këto sisteme janë makina gjuhësore. Koha e funksionimit do të vazhdojë të ngatërrohet me të vërtetën sepse të dyja duken sikur "funksionuan". Bashkëpilotët do të vazhdojnë të fitojnë jetesën në mes të ngatërruar - drafte, përmbledhje që mund të lexohen shpejt, kod që mund të përpilohet - dhe të pasigurt kur ia delegojmë gjykimin një paragrafi që nuk interesohet.

Përdorini ato aty ku një gabim është i lirë ose i kapshëm. Ngadalësoni aty ku një gabim është i shtrenjtë. Kjo është përgjigjja e drejtpërdrejtë, dhe vlen më shumë se një slogan.

Nëse merr një gjë, ndalo së pyeturi modelin nëse është i sigurt. Shiko çfarë ndodh kur e pyet se si mund të jetë gabim. Pastaj shko kontrollo.

Shembull nga bota reale: Ndërtimi i një asistenti të inteligjencës artificiale për politikën e anëtarësimit

Skenari

Priya drejton njohuritë për Harbour Membership, një organ tregtar me 70 persona në Mbretërinë e Bashkuar për palestra të pavarura. Tre persona u përgjigjen pyetjeve të anëtarëve. Burimi i së vërtetës është një manual prej 180 faqesh, i përditësuar çdo tremujor, plus PDF-të e vjetra në një disk të përbashkët që askush nuk ka zemër t'i fshijë.

Lidershipi ka blerë tashmë një bashkëpilot të ndihmës teknike. Demoja ishte e mirë. Koha e funksionimit ka qenë e mirë. Në javën e dytë, një draft i rrjedhshëm i tregon një anëtari se mund ta ngrijë për 14 ditë dhe të marrë një rimbursim të plotë "si standard". Kjo nuk është politika. Agjenti e kapi sepse ata ende e hapin manualin kur përfshihen paratë. Pyetja e lidershipit, e dërguar sikur të ishte një po ose jo, është: a është IA e besueshme?

Priya e refuzon vendimin. Ajo e trajton atë si një hartë. Detyra nuk është "t'u japësh anëtarëve një orakull". Është "të hartosh një përgjigje nga manuali aktual, të tregosh fragmentin dhe të dështosh në mbyllje kur fragmenti mungon". Nëse ndihmës-piloti nuk mund ta bëjë këtë, është një lodër hartimi, jo një tavolinë politikash.

Çfarë i duhet asistentit

• Manuali i prillit 2026 si korpusi i vetëm i lejuar, me numrat e seksioneve të paprekur

• PDF-ja e vjetër e vitit 2023 e lënë në disk qëllimisht, në mënyrë që të shohin nëse rikthimi i saj do të kapë rezultatin pothuajse të gabuar

• Një rregull i shkruar: asnjë të dhënë personale e klientit në mjetet e konsumatorit; asnjë dërgesë pa ndihmën e njeriut; asnjë shpikje numrash, dritaresh ose klauzolash "si standard"

• Leja për të regjistruar kërkesat, pjesët e marra dhe dërgimin përfundimtar

• Një pronar i emëruar (Priya) i cili do të shënojë një set testimi dhe do ta ndalojë bashkëpilotin nëse dështon, mbyllja e pyetjeve me para është më keq se hedhja e një monedhe

• Nëse mjeti mbështet rikuperimin, pjesa e rikuperuar duhet të jetë e dukshme pranë draftit. Nëse nuk e bën, ata do ta ngjisin seksionin me dorë. Tokëzimi pa një kalim të inspektueshëm është prapëseprapë mjegull.

Shembull udhëzimi

Priya e shpreh këtë me gjuhë të zakonshme, jo me një nxitje për shfaqje skenike:

Përgjigjuni vetëm nga fragmentet e manualit të prillit 2026 që ju janë dhënë. Citoni numrin e seksionit. Nëse përgjigjja nuk është në ato fragmente, thoni "jo në manualin aktual" dhe ndaloni. Mos shpikni dritare ngrirjeje, rregulla rimbursimi ose tarifa. Mos e përmirësoni "sipas gjykimit të palestrës" në "si standard". Nëse dy fragmente bien ndesh, tregoni të dyja dhe thoni se cili është aktual. Ju po hartoni për një njeri që do të hapë burimin përpara se çdo gjë t'i shkojë një anëtari.

Pastaj ajo mban një udhëzim të dytë për vete, sepse qëllimi i artikullit është cikli, jo modeli:

Para se ta dërgosh, hap seksionin e cituar. Pyet "çfarë do ta bënte këtë të gabuar?" Nëse drafti përmban një numër që nuk është në fragment, refuzoje. Nëse kam pyetur si një shef me nxitim, pyet përsëri si një skeptik dhe krahaso.

Një draft i mirë duket kështu: "Jo në manualin aktual (prill 2026, seksioni 4.2). Ngrirjet janë në diskrecionin e palestrës. Rimbursimet nuk janë automatike. Përshkallëzoni." Një draft i keq duket kështu: "Anëtarët mund të ngrijnë për 14 ditë dhe të marrin një rimbursim të plotë si standard. Konfirmuar në manual." I njëjti ton. Vetëm njëra prej tyre është një politikë.

Si ta testoni

Priya shkruan 20 pyetje përpara se të shikojë ndonjë rezultat të bashkëpilotit. Kjo renditje ka rëndësi. Një demo është ndriçim. Ky është testi i thatë.

Seti nuk është kuriozitete. Është tavolina e drejtpërdrejtë:

• Tetë pyetje, përgjigjet e të cilave ndodhen në një seksion aktual (ato të lehtat)

• Katër pothuajse të pamundura, ku PDF-ja e vitit 2023 është më afër në formulim sesa teksti i prillit

• Tre pyetje "jo në manual" (mosmarrëveshje faturimi, një pyetje mjekësore "a është i sigurt ky trajnim", një ndryshim kontrate ligjor)

• Tre pyetje mbi paratë (ngrirje, rimbursim, tarifë anëtarësimi)

• Dy pyetje të zakonshme për anëtarët (orari i hapjes, sigurimi i trajnerit)

Dy nga ata njëzet u ripyetën gjithashtu në një kostum të dytë, një herë si një shef i nxituar dhe një herë si një skeptik, si një kontroll i menjëhershëm i ndjeshmërisë. Këto ripyetje u regjistruan, nuk u përfshinë në rezultatin prej 20 pikash.

Rubrika, e vlerësuar nga Priya me manualin e hapur: një fjali kaluese ka nevojë për rregullin e saktë aktual, një numër të vërtetë seksioni dhe asnjë klauzolë shtesë të shpikur. Një fjali e dështuar e qetë është një fjali teknikisht e mirë që e ka hequr përjashtimin ose e ka shndërruar një fjali "ndoshta" në një "domosdoshmëri". Një fjali e dështuar e hapur është një numër i shpikur ose një PDF pothuajse i humbur që trajtohet si aktual. Koha e funksionimit llogaritet veçmas, sepse "u përgjigj" nuk është "ishte kështu".

Pranimi për të shkuar më tej: për çështjet financiare, dështo e mbyllur në vend që të dështosh e hapur. Nëse ndihmës-piloti shpik një dritare rimbursimi, ai nuk harton bileta live. Nëse askush nuk e hap burimin, ai nuk harton as bileta live.

Rezultati

Rezultat ilustrues, nga një test i sajuar me 20 pyetje, jo një shifër e publikuar e Anëtarësimit në Harbour.

Supozime: një ndihmëspilot i ndihmës teknike; manuali i prillit 2026 plus PDF-ja e mbetur e vitit 2023; Priya shënoi pikë sipas rubrikës së mësipërme; koha ishte një kronometër telefoni nga pyetja e ngjitur në "Do ta dërgoja këtë"; koha e rishikimit përfshihet në kushtin e përsëritur dhe përjashtohet në atë të pakontrolluar, qëllimisht, kështu që krahasimi mbetet i barabartë.

Bashkë-pilot i pakontrolluar, kërkesë në stil demo: 20 nga 20 pyetje morën një përgjigje të rrjedhshme (koha e funksionimit dukej perfekte). 11 nga 20 plotësuan rubrikën. Pesë ishin dështime të qeta. Katër ishin dështime të hapura, përfshirë ngrirjen 14-ditore. Dy nga katër dështimet e hapura cituan një pjesë në formë burimi nga PDF-ja e vitit 2023. Koha mesatare për një draft që dukej i dërgueshëm ishte 1 minutë.

Të njëjtat 20 pyetje, udhëzime të kufizuara, pjesa e nxjerrë e dukshme: 15 nga 20 ishin plotësisht të sakta nga teksti i prillit. Tre thanë saktë "jo në manualin aktual" (pikat që lidhen me mjekësinë dhe ligjin, plus një mosmarrëveshje faturimi), kështu që 18 nga 20 ishin të pranueshme. Dy përsëri dështuan: një shkroi PDF-në e vitit 2023 që pothuajse dështoi, dhe një shpiku një shifër të tarifës së bashkimit që nuk ishte në fragment. Koha mesatare për hartimin e draftit ishte ende rreth 1 minutë.

Të njëjtat 20 minuta, plus Priya që hapi seksionin e cituar para një dërgimi të simuluar: 19 nga 20 do të kishin qenë të pranueshme. Ajo e kapi PDF-në që pothuajse humbi. Gabimi i mbetur ishte leximi i shpejtë i një paragrafi nga recensenti dhe mosvënia në dukje e shifrës së shpikur të tarifës së bashkimit. Koha mesatare, përfshirë recensionin, ishte 3 minuta.

Proces i vjetër, vetëm kërkim manual, pa ndihmëspilot: 20 nga 20 të pranueshme. Mesatarisht 9 minuta.

Në të gjithë këtë mostër, bashkëpiloti i përsëritur ishte 6 minuta më i shpejtë se gjuetia e manualit (9 minus 3), ose 120 minuta në 20 pyetje, me 19 nga 20 të pranueshme në vend të 20 nga 20. Bashkëpiloti i pakontrolluar ishte 8 minuta më i shpejtë (9 minus 1) dhe i gabuar, në heshtje ose me zë të lartë, në 9 nga 20. Kjo nuk është një kursim kohe prej 67% që e vendosni në një paketë drejtimi. Është një rrjedhje me 9 gabime që do ta kishit automatizuar.

Versionet e dy pyetjeve të përsëritura, ku thuhej se shefi ishte i nxituar, ishin të dyja të ekzagjeruara. Versionet skeptike u mbytën. I njëjti model, i njëjti manual, kostum i ndryshëm. Priya e regjistroi këtë si një gjetje, jo si personalitet.

Këto shifra janë një vlerësim shembullor bazuar në testin e deklaruar, një grup të vogël, bileta që ishin më të lehta se një anëtar i zemëruar dhe një recensues që e njihte tashmë librin. Ato nuk tregojnë se bashkë-piloti është "95% i besueshëm", ose se Harbour duhet të heqë dorë nga një punonjës në tavolinë. Ato tregojnë se koha e funksionimit nuk ishte çështja, dhe se kontrolli ishte.

Çfarë mund të shkojë keq

• Udhëheqja citon kohën 1-minutëshe të draftit dhe anashkalon 9 humbjet. Shpejtësia ende ndihet si kompetencë në orën 16:00.

• PDF-ja e vitit 2023 mbetet në indeks. Rikthimi vazhdon ta gjejë. Grounding duket i pjekur dhe është ende një dështim i madh.

• Ndërfaqja e përdoruesit e fsheh pjesën e marrë pas një butoni të shndritshëm dërgimi. Njerëzit ndalojnë së hapuri manualin, dhe kjo është mënyra se si ngrirja e përgjigjes arrin te një anëtar.

• Priya vlerëson vetëm tetë pyetjet e lehta sepse ato duken më bukur në një slajd. Teatër vlerësimi, vetëm me një spreadsheet.

• Një përgjigje e pyetjes "a është i sigurt ky trajnim?", e lidhur me çështje mjekësore, lejohet të duket si një përmbledhje. Harta thoshte pothuajse kurrë. Toni thoshte vazhdo.

• Regjistrat janë të çregjistruar sepse "më dukej sikur ishte diçka shtesë". Pas një gabimi, askush nuk mund të shohë se cili pasazh është rikuperuar.

• Ata e pyesin modelin nëse është i sigurt. Po. Ky nuk ka qenë kurrë testi.

Përgatitje praktike për të marrë me vete

Besueshmëria nuk është një tipar i ndihmëspilotit që bleu Harbour. Është një veçori e 20 pyetjeve, një manuali të azhurnuar, një pasazh të dukshëm dhe një personi që ende hap burimin kur bëhet fjalë për para. Rrjedhshmëria do të vazhdojë të kalojë testin e kohës së funksionimit. Cikli është e vetmja gjë që kalon testin e politikës.

Pyetje të shpeshta

Çfarë do të thotë besueshmëria për IA-në gjeneruese?

Besueshmëria e përditshme do të thotë që mund të mbështeteni në diçka. Me automatizimin që flet, një grup i tërë vetish fshihet nën një fjalë: faktualitet, qëndrueshmëri, kalibrim, siguri, kohëzgjatje funksionimi, ndjeshmëri e shpejtë, raste të përparuara dhe sjellje pas ndërrimit të shpërndarjes. Asnjëra prej këtyre nuk dështon së bashku. Testi i drejtpërdrejtë është i besueshëm në atë që, për kë, me cilin cikël rreth tij. Përndryshe, ju po vlerësoni një blender nëse mund të përballojë taksat.

A është inteligjenca artificiale e besueshme?

Jo si një tipar. Një LLM mund të jetë i fortë si shkëmbi në një punë dhe të çrregullohet në tjetrën në heshtje, ndonjëherë në të njëjtën punë, ndonjëherë sepse keni zhvendosur një presje. Besueshmëria është një veti e një detyre, një grupi të dhënash, një cikli rikuperimi, një vlerësimi që nuk është një demo dhe një njeriu që prapëseprapë duhet ta ketë seriozisht. Përdoreni atë kur një gabim është i lirë ose i kapshëm. Ngadalësoni kur një gabim është i shtrenjtë.

A është koha e funksionimit të inteligjencës artificiale e njëjtë me vërtetësinë?

Jo. Koha e funksionimit ka të bëjë me përgjigjen e pikës fundore. Vërtetësia ka të bëjë me përgjigjen e saktë. Mund të kesh një shërbim që nuk i venitet sytë dhe prapë të dërgosh një gënjeshtër të rrjedhshme në një tiketë klienti. Shpejtësia ndihet si kompetencë kur radha është një përbindësh. Siguria është një tjetër bosht: një model që refuzon një jailbreak mund të shtrembërojë përsëri një përmbledhje të shënimeve të tua.

Pse inteligjenca artificiale e rrjedhshme ndihet e besueshme edhe kur gabon?

Saktësia dhe rrjedhshmëria u ndanë, dhe rrjedhshmëria e mbajti situatën në kontroll. Një LLM do t'ju japë ritëm, mbrojtje, ndoshta një formë citimi të rreme, por të bukur, dhe truri juaj lexon "ky person e di". Kalibrimi është shpesh i tmerrshëm: besim i lartë, e vërtetë mesatare, e dhënë si një fjalim kryesor. Një përgjigje e gabuar e ngathët ju bën dyshues. Një përgjigje e gabuar rrjedhshme ju bën të ndaloni së kontrolluari. Nëse flet si një përmbledhje, ne e trajtojmë atë si një përmbledhje, dhe kështu hyn gabimi në lojë.

A është inteligjenca artificiale e besueshme për punë mjekësore, ligjore ose të mbështetjes së klientëve?

Varet nga puna, jo nga marka. Këshillat mjekësore dhe ligjore pothuajse kurrë nuk janë mjaftueshëm të mira si produkt: modeli është një cung dhe njeriu është profesionisti. Mbështetja e klientit mund të hartojë brenda një police të rreptë, por një person duhet të jetë i vetëdijshëm për dërgimin e parave dhe besimin, sepse politika e shpikur dhe një "jo" e gabuar me mirësjellje janë dështimi i zakonshëm. Skica dhe përmbledhjet janë një tekst i parë që e dini tashmë. Kontrolloni emrat, numrat dhe rreshtin që do të dëmtonte.

Pse IA halucinon, devijon ose gabon në heshtje?

Halucinacioni është humbja pikante: një libër që nuk ekziston, një funksion që nuk është dërguar kurrë, një klauzolë politike me një numër që ndihet zyrtar. Lëvizja është më pak kinematografike: bota lëviz, mbetjet e modelit qëndrojnë dhe ju merrni një përgjigje të organizuar mirë nga moti i mëparshëm. Gabimi i heshtur është një përmbledhje që heq përjashtimin. Ose një parafrazë që e përmirëson një "ndoshta" në një "domosdoshmëri". Faktikiteti mund të duket teknikisht i mirë ndërsa kuptimi ka rënë. Ndjeshmëria e shpejtë i bën faktet të shkëlqejnë kur ndryshon mbështjelljen.

A e bën të besueshme inteligjencën artificiale tokëzimi ose rikthimi i sinjalit në tokë?

Tokëzimi do të thotë përgjigje nga kjo, jo nga mjegulla. Rikthimi e ngul të tashmen në një grumbull të stërvitur. Kur dështon, dështon me mirësjellje: një dokument gati i humbur, një shkrim i shkruar dhe instinkti juaj i kontrollit fiket. Tokëzimi është një dysheme, jo një aureolë. Nëse nuk mund ta inspektoni copën e rikuperuar, jeni ende në mjegull, vetëm me ndriçim më të mirë. Përzieni detyrat e gjendjes së drejtpërdrejtë si çmimet ose formulimi i politikave me anije të qëndrueshme dhe merrni një përgjigje shumë të sigurt për një botë që tashmë është zhvendosur.

Pse një demo është një provë e keqe e besueshmërisë së IA-së?

Një kërkesë e pastër dhe një detyrë që modeli e ka parë me mijëra kushërinj do të duket e mprehtë. Flukset e punës live kanë ngjitje të ngatërruar, skedarë që mungojnë dhe një përdorues që do të pranojë përgjigjen e parë që zvogëlon ankthin e tyre. Një rezultat në tabelën e renditjes nuk është kalibrim në biletat tuaja. Rreziku i modelit është ajo që ndodh kur kjo është e gabuar në vëllim, jo ​​nëse ka kaluar një grup pyetjesh. Testet që ju nevojiten janë të thata: qëndroni brenda fragmentit të marrë, sinjalizoni pasigurinë në vend që të mashtroni, qëndroni konsistent kur riformuloni dhe dështoni në mbyllje në vend që të shpikni.

A është inteligjenca artificiale e besueshme nëse askush nuk është përgjegjës?

Jo. Nëse askush nuk është përgjegjës, sistemi do të përdoret sikur të ishte. "Njeriu në ciklin" është i vetmi dizajn që përputhet me mënyrat e dështimit: kush e shqyrton, kush mund ta ndalojë atë, çfarë regjistrohet, çfarë ndodh pas një gabimi. Nëse përgjigjja është "modeli", ju nuk keni një përgjigje. Modelet nuk shkojnë në takim pas incidentit. Për operacionet e mjekësisë, ligjit, kreditit ose ato kritike për sigurinë, njeriu është cikli dhe modeli është një cung.

Si ta nxis inteligjencën artificiale në mënyrë që të kap gabimet?

Kërko qëllimisht për pasigurinë: "Çfarë do ta bënte këtë të gabuar?" është më mirë se "ta bënte të sigurt". Ndajeni rikthimin nga brezi në brez kur të mundeni. Shikoni më parë fragmentet, pastaj kërkoni shkrimin. Ndryshoni kostumin: riformuloni ose kërkoni që të argumentojë të kundërtën. Detyroni kufizime të tilla si "vetëm nga teksti që ngjita" ose "nëse mungon, thuaj mungon", dhe prapë kontrolloni. Jepni përparësi detyrave me një verifikues dhe kini kujdes për specifikimin shtesë, sepse aty i pëlqen të vishet halucinacioni.

Referencat

1. NIST - nvlpubs.nist.gov

2. NIST - airc.nist.gov

3. NIST - airc.nist.gov

4. ICO - ico.org.uk

5. NCSC - www.ncsc.gov.uk

6. NCSC - www.ncsc.gov.uk

7. OWASP - genai.owasp.org

Gjeni IA-në më të fundit në Dyqanin Zyrtar të Asistentëve të IA-së

Rreth Nesh