Kur shumica e njerëzve dëgjojnë "inteligjencë artificiale", ata imagjinojnë rrjeta nervore, algoritme të sofistikuara ose ndoshta ato robotë humanoide paksa të çuditshëm. Ajo që rrallë përmendet në fillim është kjo: IA "ha" hapësirën e ruajtjes pothuajse aq sa llogarit . Dhe jo çdo hapësirë e ruajtjes së objekteve të ruajtjes qëndron në heshtje në sfond, duke bërë punën jo tërheqëse, por absolutisht thelbësore të furnizimit të modeleve me të dhënat që u nevojiten.
Le të analizojmë se çfarë e bën ruajtjen e objekteve kaq të rëndësishme për IA-në, si ndryshon nga "garda e vjetër" e sistemeve të ruajtjes dhe pse përfundon duke qenë një nga levat kryesore për shkallëzueshmëri dhe performancë.
Artikuj që mund t'ju pëlqejnë të lexoni pas këtij:
🔗 Cilat teknologji duhet të jenë në vend për të përdorur IA gjeneruese në shkallë të gjerë për biznesin?
Teknologjitë kryesore që bizneset kanë nevojë për të shkallëzuar në mënyrë efektive IA-në gjeneruese.
🔗 Menaxhimi i të dhënave për mjetet e inteligjencës artificiale që duhet të shikoni
Praktikat më të mira për trajtimin e të dhënave për të optimizuar performancën e inteligjencës artificiale.
🔗 Implikimet e inteligjencës artificiale për strategjinë e biznesit
Si ndikon inteligjenca artificiale në strategjitë e biznesit dhe vendimmarrjen afatgjatë.
Çfarë e bën ruajtjen e objekteve të funksionojë për inteligjencën artificiale? 🌟
Ideja e madhe: ruajtja e objekteve nuk merret me dosje ose paraqitje të ngurta blloqesh. Ajo i ndan të dhënat në "objekte", secila e etiketuar me meta të dhëna. Këto meta të dhëna mund të jenë gjëra në nivel sistemi (madhësia, vulat kohore, klasa e ruajtjes) dhe etiketa çelës:vlerë të përcaktuara nga përdoruesi [1]. Mendojeni si çdo skedar që mbart një pirg me shënime ngjitëse që ju tregojnë saktësisht se çfarë është, si është krijuar dhe ku futet në rrjedhën tuaj të të dhënave.
Për ekipet e IA-së, kjo fleksibilitet është një ndryshim rrënjësor:
-
Shkallëzoni pa probleme - Liqenet e të dhënave shtrihen në petabajt dhe depot e objekteve i trajtojnë ato me lehtësi. Ato janë projektuar për rritje pothuajse të pakufizuar dhe qëndrueshmëri në shumë AZ (Amazon S3 mburret me "11 nënta" dhe replikim ndër-zonor si parazgjedhje) [2].
-
Pasuria e meta të dhënave - Kërkime më të shpejta, filtra më të pastër dhe kanale më të zgjuara pasi konteksti shoqëron çdo objekt [1].
-
Cloud-native - Të dhënat vijnë nëpërmjet HTTP(S), që do të thotë se mund të paralelizoni tërheqjet dhe të vazhdoni të punoni me trajnimin e shpërndarë.
-
Rezistenca e integruar - Kur stërviteni për ditë të tëra, nuk mund të rrezikoni një epokë 12 që do të vrasë shard-in e korruptuar. Ruajtja e objekteve e shmang këtë me vetë dizajnin e saj [2].
Në thelb është një çantë shpine pa fund: ndoshta e rrëmujshme brenda, por gjithçka është prapëseprapë e rikuperueshme kur e kapni me dorë.
Tabela e Krahasimit të Shpejtë për Ruajtjen e Objekteve të IA-së 🗂️
| Mjet / Shërbim | Më e mira për (Audiencën) | Diapazoni i Çmimeve | Pse funksionon (Shënime në margjina) |
|---|---|---|---|
| Amazon S3 | Ndërmarrjet + Ekipet e Cloud-it të Parë | Paguaj sipas përdorimit | Jashtëzakonisht i qëndrueshëm, elastik ndaj rajonit [2] |
| Hapësira ruajtëse në renë kompjuterike të Google | Shkencëtarë të të dhënave dhe zhvillues të ML | Nivele fleksibile | Integrime të forta të ML, plotësisht të bazuara në cloud |
| Azure Blob Storage | Dyqanet e mëdha të Microsoft-it | Me nivele (i nxehtë/i ftohtë) | I përsosur me të dhënat + mjetet ML të Azure |
| MinIO | Konfigurime me burim të hapur / DIY | Falas/vetë-pritës | I pajtueshëm me S3, i lehtë, i vendosshëm kudo 🚀 |
| Reja e nxehtë e Wasabi-t | Organizata të ndjeshme ndaj kostos | Tarifë fikse e ulët $ | Pa tarifa daljeje ose kërkese API (për polisë) [3] |
| Ruajtja e Objekteve në Cloud të IBM-it | Ndërmarrje të mëdha | Ndryshon | Skemë e pjekur me opsione të forta sigurie për ndërmarrjet |
Gjithmonë kontrolloni çmimet me kujdes në krahasim me përdorimin tuaj në botën reale - veçanërisht daljet, vëllimin e kërkesave dhe përzierjen e klasës së magazinimit.
Pse Trajnimi i IA-së e Do Ruajtjen e Objekteve 🧠
Trajnimi nuk është "një grusht skedarësh". Janë miliona e miliona regjistrime të shkatërruara paralelisht. Sistemet hierarkike të skedarëve përkulen nën njëkohshmëri të madhe. Ruajtja e objekteve e anashkalon këtë me hapësira emrash të sheshta dhe API të pastra. Çdo objekt ka një çelës unik; punëtorët shpërndahen dhe marrin në mënyrë paralele. Sete të dhënash të copëtuara + I/O paralele = GPU-të qëndrojnë të zëna në vend që të presin.
Këshillë nga burime të avancuara: mbajini "hot shards" pranë klasterit kompjuterik (i njëjti rajon ose zonë) dhe ruajini në mënyrë agresive në SSD. Nëse keni nevojë për furnizime pothuajse të drejtpërdrejta me GPU, NVIDIA GPUDirect Storage - ai zvogëlon buffer-at e rikthimit të CPU-së, ul vonesën dhe rrit bandwidth-in direkt te përshpejtuesit [4].
Meta të dhënat: Superfuqia e nënvlerësuar 🪄
Ja ku shkëlqen ruajtja e objekteve në mënyra më pak të dukshme. Gjatë ngarkimit, mund të bashkëngjitni meta të dhëna të personalizuara (si x-amz-meta-… për S3). Një grup të dhënash vizioni, për shembull, mund të etiketojë imazhet me lighting=low ose blur=high . Kjo i lejon tubacionet të filtrojnë, balancojnë ose stratifikojnë pa skanuar përsëri skedarët e papërpunuar [1].
Dhe pastaj është versionimi . Shumë dyqane objektesh mbajnë versione të shumëfishta të një objekti krah për krah - perfekte për eksperimente të riprodhueshme ose politika qeverisjeje që kanë nevojë për rikthime [5].
Objekti vs Blloku vs Ruajtja e Skedarëve ⚔️
-
Ruajtja në Blloqe : E shkëlqyer për bazat e të dhënave transaksionale - e shpejtë dhe e saktë - por shumë e shtrenjtë për të dhëna të pastrukturuara në shkallë petabajt.
-
Ruajtja e skedarëve : E njohur, miqësore me POSIX, por drejtoritë mbetën të mbingarkuara nga ngarkesa masive paralele.
-
Ruajtja e Objekteve : E projektuar që nga themeli për shkallëzim, paralelizëm dhe akses të bazuar në meta të dhëna [1].
Nëse dëshironi një metaforë të ngathët: ruajtja e blloqeve është një dollap arkivash, ruajtja e skedarëve është një dosje në desktop dhe ruajtja e objekteve është… një gropë pa fund me shënime ngjitëse që në një farë mënyre e bëjnë të përdorshme.
Flukse pune hibride të inteligjencës artificiale 🔀
Nuk është gjithmonë vetëm për në cloud. Një përzierje e zakonshme duket si kjo:
-
Ruajtje objektesh në vend (MinIO, Dell ECS) për të dhëna të ndjeshme ose të rregulluara.
-
Ruajtje objektesh në cloud për ngarkesa pune në shpërthim, eksperimente ose bashkëpunim.
Ky ekuilibër ndikon në kosto, pajtueshmëri dhe shkathtësi. Kam parë ekipe që fjalë për fjalë hedhin terabajt brenda natës në një kovë S3 vetëm për të ndezur një grumbull të përkohshëm GPU - pastaj e shkatërrojnë të gjithën kur sprinti përfundon. Për buxhete më të ngushta, modeli i Wasabi-t me normë të sheshtë/pa dalje [3] e bën jetën më të lehtë për t'u parashikuar.
Pjesa për të cilën askush nuk mburret 😅
Verifikimi i realitetit: nuk është i përsosur.
-
Vonesa - Vendosni kompjuterin dhe hapësirën e ruajtjes shumë larg njëra-tjetrës dhe GPU-të tuaja do të fillojnë të funksionojnë ngadalë. GDS ndihmon, por arkitektura prapëseprapë ka rëndësi [4].
-
Surpriza kostoje - Tarifat e daljes dhe kërkesave API u rriten njerëzve. Disa ofrues i heqin ato (Wasabi e bën; të tjerët jo) [3].
-
Kaosi i meta të dhënave në shkallë të gjerë - Kush e përcakton "të vërtetën" në etiketa dhe versione? Do t'ju duhen kontrata, politika dhe pak forcë qeverisëse [5].
Ruajtja e objekteve është një element hidraulik i infrastrukturës: thelbësor, por jo joshës.
Ku po shkon 🚀
-
Hapësirë ruajtjeje më e zgjuar, e ndërgjegjshme për inteligjencën artificiale , që etiketon automatikisht dhe ekspozon të dhënat nëpërmjet shtresave të pyetjeve të ngjashme me SQL [1].
-
Integrim më i ngushtë i harduerit (shtigje DMA, shkarkime të NIC) në mënyrë që GPU-të të mos kenë mungesë I/O [4].
-
Çmime transparente dhe të parashikueshme (modele të thjeshtuara, tarifa daljeje të hequra) [3].
Njerëzit flasin për informatikën si e ardhmja e inteligjencës artificiale. Po realisht? Problemi qëndron po aq shumë në futjen e të dhënave në modele shpejt pa e tepruar buxhetin . Kjo është arsyeja pse roli i ruajtjes së objekteve vetëm sa rritet.
Përmbledhje 📝
Ruajtja e objekteve nuk është diçka e tepërt, por është themelore. Pa një ruajtje të shkallëzueshme, të vetëdijshme për meta-të dhënat dhe elastike, stërvitja e modeleve të mëdha duket si të vraposh një maratonë me sandale.
Pra, po - GPU-të kanë rëndësi, framework-et kanë rëndësi. Por nëse e merrni seriozisht inteligjencën artificiale, mos e injoroni se ku ndodhen të dhënat tuaja . Ka shumë të ngjarë që ruajtja e objekteve tashmë po e mban në heshtje të gjithë operacionin.
Referencat
[1] AWS S3 – Meta të dhëna objekti - meta të dhëna sistemi dhe të personalizuara
https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingMetadata.html
[2] AWS S3 – Klasat e magazinimit - qëndrueshmëri (“11 nënta”) + rezistencë
https://aws.amazon.com/s3/storage-classes/
[3] Wasabi Hot Cloud – Çmimet - çmim i sheshtë, pa tarifa daljeje/API
https://wasabi.com/pricing
[4] NVIDIA GPUDirect Storage – Dokumente - Shtigjet DMA për në GPU
https://docs.nvidia.com/gpudirect-storage/
[5] AWS S3 – Versionimi - versione të shumëfishta për qeverisje/riprodhueshmëri
https://docs.aws.amazon.com/AmazonS3/latest/userguide/Versioning.html