Kio estas datuma veneniĝo?
Privateco, sekureco kaj identeco
Datuma veneniĝo estas la intenca manipulado de la datumoj, el kiuj maŝinlernada sistemo lernas, tiel ke la modelo poste kondutas malbone. Foje la efiko estas ĝenerala degradiĝo. Foje ĝi estas kaŝita, celita konduto, kiu aperas nur sub specifaj kondiĉoj. Datuma veneniĝo apartenas al la pli vasta kampo de kontraŭstara maŝinlernado kaj distingiĝas de AI-malliberigo (jailbreak), kiu provas preteriri la regulojn de modelo dum rultempo per instigoj, anstataŭ korupti la datumojn, el kiuj ĝi lernis.
Recenzita de Jackie, Head of Learning & Development, Levellers - Laste recenzita la 8-an de junio 2026
Kion tio signifas
Simpla maniero kompreni datuman veneniĝon estas kompari ĝin kun trejnado de nova dungito per falsitaj manlibroj kaj malbonaj ekzemploj. Se la trejnmaterialo estas malĝusta en la ĝusta maniero, la lernanto povas ankoraŭ aspekti kompetenta la plej grandan parton de la tempo, sed malsukcesi ĝuste tie, kie la atakanto volas.
Tio estas kio okazas kun venenigitaj datumoj de maŝinlernado. La atakanto ŝanĝas kelkajn el la ekzemploj, etikedoj aŭ aliaj lernaj enigaĵoj, tiel ke la modelo absorbas distorditan ŝablonon. La modelo estas poste deplojita kvazaŭ ĝi estus fidinda, kvankam ĝia konduto estis kviete formita anticipe.
Foje la efiko estas ĝenerala. La modelo simple funkcias pli malbone ĝenerale. Foje ĝi estas celita. Certaj enigaĵoj, frazoj, klasoj aŭ kondiĉoj ekigas malĝustan konduton, dum ĉio alia ankoraŭ aspektas normala. Tiu celita versio povas esti multe pli malfacile rimarkebla, ĉar la ĉefa rendimento povas resti akceptebla.
En modernaj AI-sistemoj, "datumoj" ankaŭ signifas pli ol unu aferon. Ĝi povas inkluzivi antaŭtrejnajn korpusojn, datumarojn por fajnagordado, homaj-etikeditajn ekzemplojn, rangigajn kaj preferajn datumojn, enkodajn korpusojn, kaj en kelkaj kuntekstoj reagajn datumojn, kiuj poste estas reuzataj por plibonigo. Tiu pli vasta provizaĵoĉeno estas la kialo, pro kiu datuma veneniĝo ne estas nur datumscienco-problemo. Ĝi estas ankaŭ aĉeta, platforma kaj regada problemo.
Kial ĝi gravas
Datuma veneniĝo gravas, ĉar la konduto de la modelo dependas de la datumoj, el kiuj ĝi lernis. Se la datumoj estas kompromititaj, la modelo povas esti kompromitita eĉ kiam la programaro ĉirkaŭ ĝi aspektas normala.
Tio estas aparte grava nun, ĉar multaj organizoj ne konstruas ĉion de nulo. Ili uzas triaparte datumarojn, malfermajn deponejojn, eksterajn etikedistojn, antaŭtrejnitajn modelojn, komunajn modelcentrojn, datumflujojn liveritajn de partneroj, reagobuklojn kaj aŭtomatigitajn retrejnajn duktoliojn. Ĉiu dependeco povas esti utila, sed ĉiu ankaŭ povas plivastigi la ŝancon por kontaminado.
Por gvidantoj, la danĝero ne estas nur malpli alta precizeco. Venenigitaj sistemoj povas erozii fidon en pli kvieta maniero. Fraŭda modelo povas maltrafi la malĝustajn ŝablonojn. Moderada modelo povas evoluigi blindajn makulojn. Lingva modelo fajnagordata sur koruptita materialo povas produkti antaŭjuĝajn aŭ manipulitajn respondojn al specifaj temoj. Kaŝita malantaŭpordo povas resti dormanta ĝis ekigilo aperas en produktado. Tio signifas, ke datuma veneniĝo povas resti nerimarkita ĝis ĝi plej gravas.
Kiel ĝi funkcias
Datuma veneniĝo okazas antaŭ aŭ dum la lernprocezo, ne ĉefe en la momento de uzanta instigado. La atakanto bezonas ian vojon por influi la datumojn, kiujn la modelo uzas por lerni. Tiu vojo povas esti rekta aŭ nerekta. Ĝi povas impliki ŝanĝon de datumaro, korupton de etikedoj, enkondukon de fabrikitaj specimenoj, publikigon de kontaminita trejnmaterialo, kiun aliaj poste engorĝas, aŭ misuzon de reaga aŭ ĝisdatiga procezo.
Sur larĝa nivelo, ekzistas du oftaj efikoj. La unua estas nediskriminacia degradiĝo. La atakanto volas, ke la modelo ĝenerale plimalboniĝu, eble malpli preciza aŭ malpli fidinda tra multaj enigaĵoj. La dua estas celita manipulado. La atakanto volas, ke la modelo kondutu malbone por malvasta aro de enigaĵoj, klasoj aŭ ekigiloj, dum ĝi restas plejparte normala aliloke.
Celita manipulado estas ofte pli danĝera en praktiko, ĉar ĝi kaŝiĝas pli bone. Modelo povas trapasi multajn ordinarajn testojn kaj tamen enhavi latentan damaĝan ŝablonon. En klasika sekureca lingvaĵo, tio povas esti priskribita kiel malantaŭpordo. La modelo kondutas normale ĝis la ĝusta ekigilo aŭ kondiĉo aperas.
Aktualaj taksonomioj ankaŭ distingas datuman veneniĝon de modela veneniĝo. Datuma veneniĝo ŝanĝas la ekzemplojn, el kiuj la modelo lernas. Modela veneniĝo ŝanĝas la modelan artefakton aŭ parametrojn pli rekte, kio estas aparte grava en kuntekstoj kiel federacia lernado aŭ kompromititaj modelaj provizaĵoĉenoj. En ĉiutaga komerca diskuto la terminoj foje estas miksitaj, sed ilia apartigado helpas teamojn decidi, kie meti kontrolojn.
Generativa AI plivastigas la kampon plu. En tiu kunteksto, veneniĝo povas celi antaŭtrejnajn datumojn, instrukciagordajn datumojn, preferajn datumojn, enkodajn datumojn aŭ aliajn artefaktojn uzatajn por formi modelan konduton. Aktuala sekureca gvidado ankaŭ notas, ke modeloj publikigitaj tra komunaj deponejoj povas porti kaj kondutan kaj programaran provizaĵoĉenan riskon. Alivorte, veneniĝo ne temas nur pri la teksto aŭ bildoj ene de datumaro. Ĝi povas ankaŭ esti parto de la pli vasta ĉeno, tra kiu modeloj kaj rilataj artefaktoj estas akirataj.
Gravas ankaŭ distingi datuman veneniĝon de apudaj problemoj. Uzanta instigaĵo, kiu trompas deplojitan asistanton, ne estas datuma veneniĝo. Tio estas atako bazita sur instigoj dum rultempo. Malica instrukciaro kaŝita en retrova dokumento estas kutime traktata kiel nerekta instiginjekto aŭ sciobazo-veneniĝo, krom se tiu enhavo estas poste integrita en la trejnan aŭ fajnagordan procezon mem. Bona regado dependas de tio, ke tiuj kategorioj restu klaraj.
El defenda vidpunkto, la grava demando ne estas "Ĉu tio povus okazi teorie?" Ĝi estas "Kie iu povus influi niajn lernajn datumojn en praktiko?" Oftaj influopunktoj inkluzivas eksterajn datumarojn, eksternigitan etikedon, retskalan kolektadon, nereviditan uzantan reagon, kompromititan stokadon, malfortan alirkontrolan, aŭtomatigitan retrejnadon kaj modelimportojn el publikaj centroj.
Kontrolo do komenciĝas per provenanco kaj proprieto. Vi devas scii, de kie datumoj venis, kiu ilin etikedis, kiu ilin ŝanĝis, kiam ili ŝanĝiĝis, kaj kiuj modelversioj lernis el ili.
Poste vi bezonas integrecajn kontrolojn. Versiigi datumarojn. Apartigi fidindajn kaj nefidindajn fontojn. Limigi skriban aliron. Uzi aprobon por gravaj datumŝanĝoj. Konservi artefaktojn necesajn por restaŭrado kaj esploro.
Validado ankaŭ gravas. Rezervaj datumaroj, kanariaj testoj, anomaliokontrolo kaj taksado sur celitaj limkazoj povas helpi ekvidi suspektindajn ŝanĝojn, kiujn larĝaj komparnormaj mezumoj povas kaŝi. Ansambloj kaj komparo kontraŭ fidindaj fontoj ankaŭ povas malfaciligi la kaŝadon de veneniĝo.
Provizaĵoĉena disciplino estas esenca. Se vi importas modelojn, datumarojn aŭ ilojn, kontrolu ilian fonton kaj fidindecpozon. Moderna gvidado ĉiam pli traktas la maŝinlernan provizaĵoĉenon simile al la programara provizaĵoĉeno, signifante ke provenanco, travidebleco kaj dependecrevizio ĉiuj fariĝas parto de respondeca funkciado.
Fine, monitoru post deplojo. Datuma veneniĝo estas ofte malkovrita malfrue, kiam modelo komencas konduti strange sur viva trafiko. Post-deploja monitorado por drivo, malvastaj malsukcesŝablonoj kaj neklarigeblaj rendimentoŝanĝoj helpas teamojn kapti problemojn pli frue, kvankam ĝi ne detektos ĉion.
Do la meĥaniko estas simple priskribebla eĉ se ĝi estas malfacile administrebla. La atakanto influas la lernmaterialon. La modelo internigas la distordon. La damaĝa konduto aperas poste, aŭ larĝe aŭ sub specifaj kondiĉoj. La praktika defendo estas trakti trejnajn kaj agordajn datumojn kiel sekurece kritikajn aktivaĵojn, ne nur kiel kruda materialo por eksperimentado.
Ekzemploj
Retpoŝta filtro estas trejnita sur retpoŝtaj datumoj, kiuj inkluzivas manipulitajn etikedojn. La modelo lernas malĝustajn ŝablonojn kaj trasigas mesaĝojn, kiujn ĝi devus esti blokinta. Tio estas klasika kazo, kie malbonaj lernaj datumoj kreas malbonan operacian konduton poste.
Kliento-subtena modelo estas fajnagordata sur historiaj biletoj. Se tiuj biletoj enhavas sisteme koruptitajn ekzemplojn, aŭ se la kuraca procezo estas manipulita, la modelo povas evoluigi malvastajn sed gravajn blindajn makulojn pri specifaj problemoj.
Modela teamo importas triaparte bazmodelo aŭ datumaron el publika deponejo sen sufiĉaj provenancaj kontroloj. La tuja allogo estas rapideco. La kaŝita kosto estas necerteco pri tio, kion la modelo lernis kaj ĉu kaŝitaj kondutoj estis plantitaj supre en la ĉeno.
Teamo uzas vivajn reagobuklojn por kontinua plibonigo. Se tiu reago ne estas filtrita kaj regata, malicaj aŭ malaltkvalitataj signaloj povas komenci formi estontan konduton laŭ manieroj, kiujn neniu intencis.
Oftaj miskomprenoj
Unu miskomprenado estas, ke veneniĝo ĉiam ruinigas modelan rendimenton tiel evidente, ke iu ajn ĝin rimarkos. Ne nepre. Iuj veneniĝoj celas subtilajn, celitajn efikojn, kiuj lasas multajn normajn metrikojn aspekti akcepteblaj.
Alia estas, ke veneniĝo postulas kontrolon super grandega parto de la datumoj. Foje ne. Sub la ĝustaj kondiĉoj, zorge lokitaj ŝanĝoj povas havi neproporcie grandajn efikojn.
Tria estas, ke datuma veneniĝo kaj modela veneniĝo estas la sama afero. Ili estas rilataj sed distinktaj. Datuma veneniĝo ŝanĝas lernajn enigaĵojn. Modela veneniĝo ŝanĝas la modelon pli rekte.
Kvara estas, ke tio estas problemo nur por gigantaj bazmodeloj. Ĝi ankaŭ influas pli malgrandajn internajn modelojn, fajnagorditajn taskmodelojn kaj ajnan laborfluan procezon, kiu retrejnas el datumoj, kiujn la organizo ne rigoroze regas.
Riskoj kaj limoj
Datuma veneniĝo estas malfacile detektebla kun certeco, aparte kiam la efiko estas malvasta kaj la sistemo estas granda. Kelkaj organizoj neniam havos plenan videblecon en ĉiun supran antaŭtrejnan fonton uzatan de provizanto. Tio limigas certigon kaj pliigas la valoron de provizanta diligenteco, kontrolita deplojo kaj post-deploja monitorado.
Ekzistas ankaŭ interŝanĝoj. Pli vasta datumkolektado povas plibonigi kovradon, sed ankaŭ plivastigi eksponiĝon. Rapida retrejnado povas plibonigi aktualon, sed povas importi malbonan signalon pli rapide. Malfermita kundivido povas akceli adopton, sed redukti certigon, krom se provenanco kaj validado estas fortaj.
Tiu ĉi artikolo estas praktika klarigilo, ne jura aŭ profesia konsilo. Se venenigita konduto povus influi reguligitajn decidojn, sekurece kritikan agadon aŭ sentemajn personajn datumojn, formala sekureca, jura kaj riska revizio estas prudenta.
Kion fari poste
Unue, mapu la datuman provizaĵoĉenon por ĉiu materiala modelo. Inkluzivi fontojn, etikedistojn, deponejojn, artefaktajn stokejojn, retrejnajn ekigilojn kaj kiu povas aprobi ŝanĝojn.
Due, asignu proprieton. Iu devus esti respondeca por la integreco de trejnaj, agordaj, enkodaj kaj taksadaj datumoj, ne nur por modela rendimento.
Trie, apliku provenancajn kaj versiajn kontrolojn. Gravaj datumaroj devus esti spurebla, reproduktebla kaj reversigebla. Se modelo ŝanĝiĝas, vi devus scii precize, kiuj lernaj enigaĵoj ŝanĝiĝis.
Kvare, apartigu fidindecnivelojn. Konservu alttrustan internan datumaron aparte de malalttrusta ekstera datumaro, kaj ne lasu nereviditan reagon aŭtomate eniri plibonigbuklojn por altriskaj uzkazoj.
Kvine, streĉu provizantajn kontrolojn. Demandu vendistojn pri datuma provenanco, etikedaj kontroloj, modelcentraj praktikoj, retrejnada regado kaj kiel ili detektas aŭ esploras kontaminadon.
Sese, konstruu celitan taksadon. Ne fidu nur sur agregitaj poentaroj. Uzu kanariajn kazojn, limkazojn kaj ŝablonspecifajn testojn, kiuj povus malkaŝi kaŝitan manipuladon.
Fine, preparu restaŭradon kaj okazaĵrespondon. Se suspektinda konduto aperas, teamoj devus povi paŭzigi ĝisdatigojn, kompari versiojn, inspekti la ŝanĝitan datumvojon kaj sekure reiri al antaŭa stato.
Ĉu vi havas demandon aŭ sugeston, aŭ volas kompreni, kiel ni esploras kaj recenzas tiujn gvidilojn? Legu pri niaj redakciaj normoj kaj kiel kontakti nin.
Oftaj demandoj
Ĉu datuma veneniĝo estas la sama kiel AI-malliberigo (jailbreak)?
Ne. Malliberigo estas rultempaj provo preteriri la restriktojn de deplojita modelo per instigoj. Datuma veneniĝo ŝanĝas tion, kion la modelo lernas, antaŭ ol ĝi estas deplojita aŭ ĝisdatigita.
Ĉu veneniĝo ĉiam faras la modelon evidente pli malbonan?
Ne. Iuj veneniĝoj kaŭzas larĝan degradiĝon, sed iuj estas celitaj kaj desegnitaj por resti kaŝitaj ĝis aparta ekigilo aŭ kondiĉo aperas.
Ĉu tio estas nur problemo de trejnaj datumoj?
Ne. Ĝi povas influi antaŭtrejnadon, fajnagordadon, preferajn datumojn, enkodojn, reagobuklojn kaj aliajn lernajn artefaktojn, kiuj formas modelan konduton.
Kio estas la diferenco inter datuma veneniĝo kaj modela veneniĝo?
Datuma veneniĝo ŝanĝas lernajn enigaĵojn kiel specimenoj aŭ etikedoj. Modela veneniĝo ŝanĝas la modelon pli rekte, ekzemple per ŝanĝo de parametroj aŭ ĝisdatigoj en certaj trejnaj kuntekstoj.
Ĉu post-deploja monitorado povas helpi?
Jes, sed ĝi ne sufiĉas sola. Monitorado povas malkaŝi drivon aŭ suspektindan konduton, sed malhelpado de kontaminado per provenanco, alirkontrolo kaj validado estas pli forta.
Kion gvidantoj devus demandi provizantojn?
Demandu pri datuma provenanco, etikedada regado, retrejnaj kontroloj, modelaj provizaĵoĉenaj kontroloj, anomaliodetekto, restaŭradaj procezoj kaj kian evidenton la provizanto povas dividi, se kontaminado estas suspektata.
Fontoj
Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations (National Institute of Standards and Technology). Primary. Definitions of data poisoning, distinction from model poisoning, generative AI relevance, and the role of targeted and backdoor poisoning.
Understanding adversarial attacks against Machine Learning and AI (National Cyber Security Centre). Primary. Supports the plain English definition of training data poisoning and the distinction from malicious model training and other AML classes.
ML02:2023 Data Poisoning Attack (OWASP Foundation). Primary. Practical prevention guidance covering validation, secure storage, access control, monitoring and model validation.
LLM04:2025 Data and Model Poisoning (OWASP Gen AI Security Project). Primary. Supports generative AI specific poisoning discussion across pre training, fine tuning and embedding data.
Secure your supply chain (National Cyber Security Centre). Primary. Supports the point that data and labels determine model behaviour, that third party datasets widen risk, and that targeted backdoors can be introduced through poisoned data.
Poisoning Attacks Against Machine Learning (National Institute of Standards and Technology). Secondary. Corroborates the distinction between data poisoning and model poisoning and the broader consequences of poisoned learning material.