Kio estas AI-ĵetonoj?
AI-fundamentoj, modeloj kaj kapabloj
AI-ĵetonoj estas tekstopecoj, kaj foje ankaŭ reprezentaĵoj de aliaj amaskomunikiloj, kiujn AI-modelo prilaboras anstataŭ tutaj vortoj aŭ kompletaj dokumentoj. Ĵetono povas esti mallonga vorto, parto de pli longa vorto, interpunkcio aŭ antaŭa blankospaco. Ĵetonoj gravas, ĉar ili regas kiom da teksto modelo povas legi samtempe, kiom kostas API-alvoko, kiom longaj povas esti respondoj, kaj kiam sistemo elĉerpas sian kuntekston.
Recenzita de Jackie, Head of Learning & Development, Levellers - Laste recenzita la 8-an de junio 2026
Kion tio signifas
Kiam homoj unuafoje uzas generativa AI, ili kutime pensas laŭ vortoj, paĝoj aŭ dosieroj. Modeloj ne. Ili laboras per ĵetonoj. Ĵetono estas pli malgranda unuo produktata de ĵetonigilo, la komponanto kiu disdividas tekston en pecojn, kiujn la modelo povas transformi en nombrojn.
Tiuj pecoj ne kongruas orde kun homa lingvo. Foje unu vorto estas unu ĵetono. Foje vorto disiĝas en plurajn ĵetonojn. Spacoj kaj interpunkcio kalkulas. Oftaj fragmentoj povas fariĝi unuopaj ĵetonoj, ĉar ili aperas ofte en trejnaj datumoj. Malpli oftaj aŭ pli longaj ĉenoj povas esti rompitaj en pli malgrandajn partojn. Ankaŭ malsamaj modeloj uzas malsamajn ĵetonigistojn, do la sama frazo povas doni malsamajn ĵetonnombrojn sur malsamaj sistemoj.
Simpla mensa modelo estas jena: se teksto estas tio, kion vi skribas, ĵetonoj estas tio, kion la modelo efektive vidas. Ili estas la mezurilo por memoro, kosto kaj rapido. Se vi komprenas ĵetonojn, vi komprenas kial normale aspektanta instigilo povas esti multekosta, kial longa konversacio povas subite perdi pli fruan kuntekston, kaj kial ŝanĝo inter provizantoj povas modifi kaj konduton kaj koston.
Tio ne temas nur pri teksto. En modernaj multimodalaj sistemoj, bildoj, aŭdio, video kaj dokumentoj ankaŭ estas konvertitaj en internajn reprezentaĵojn, kiuj estas mezurataj per ĵetonaj buĝetoj aŭ ekvivalentaj uzadunuoj. La preciza metodo varias laŭ provizanto, sed la komerca efiko estas la sama. Ĵetonoj estas la maniero, per kiu uzado estas kalkulata, limigata kaj fakturata.
Kial tio gravas
Gvidantoj devus atenti ĵetonojn, ĉar ili subtenas tri aferojn komerce gravajn: koston, latentecon kaj kuntekston.
Kosto estas la plej evidenta. La plej multaj API-oj prezigas enigaĵon kaj eliĝon laŭ ĵetono. Se laborfluo sendas grandajn instigilojn, grandajn retrovenajn pasaĵojn aŭ tre longajn respondojn, la fakturo kreskas. Tio sonas teknika, sed rapide fariĝas operacia problemo, precipe kiam teamoj transiras de eksperimentado al skalita interna uzado.
Latenteco ankaŭ gravas. Pli da ĵetonoj kutime signifas pli da pretigo kaj pli longajn atendotempojn. Tio povas transformi utilan asistanton en frustrigan, se laborfluoj ne estas desegnitaj kun instigila grandeco kaj respondlongo en menso.
Kunteksto estas la tria afero, kaj ofte la plej miskomprenataj. Modelo povas labori nur ene de finia kunteksta fenestro, kiu estas ĝia mallongdaŭra labormemoro por peto aŭ konversacio. Se tro da enhavo estas aldonata, pli malnova informo devas esti forigata, kunpremata aŭ anstataŭigata. Ĵetonkonscio estas do centra por instigila dezajno, retrova dezajno, resumada strategio kaj gardiloj ĉirkaŭ longdaŭraj konversacioj aŭ agentoj.
Kiel tio funkcias
La mekaniko komenciĝas per ĵetonigo. Antaŭ ol modelo prilaboras vian instigilon, ĵetonigilo konvertas la tekston en ĵetonidentigojn, nombrojn kiuj respondas al tekstopecoj. Mallonga ofta vorto povas mapigi al unu ĵetono. Pli longa aŭ pli rara vorto povas disiĝi en plurajn subvortajn pecojn. Tiu subvorta aliro estas utila, ĉar ĝi konservas vortprovizon administrebla, samtempe permesante al la modelo reprezenti nekonatan tekston.
Malsamaj ĵetonigistoj uzas malsamajn metodojn. Byte Pair Encoding, ofte mallongigita al BPE, estis vaste uzata en GPT-stilaj sistemoj. Aliaj sistemoj uzas alirojn kiel SentencePiece aŭ unigramajn lingvomodelojn. La baza ideo estas simila. Anstataŭ stoki ĉiun eblan vorton, la modelo laboras kun pecoj, kiuj povas esti rekombinataj efike trans lingvoj kaj fakoj.
Post kiam teksto estas ĵetonigita, la modelo prilaboras la sinsekvon ene de kunteksta fenestro. Tio estas la maksimuma kvanto de enigaĵo kaj eliĝo, kiun la modelo povas trakti en unu vico, laŭ provizant-specifaj reguloj. Se via instigilo, aldonita kunteksto, ilaj instrukcioj kaj atendita respondo kune superas la efikan limon, io devas cedi. La sistemo povas malakcepti la peton, trunki la instigilon, mallongigi la respondon, aŭ silente resumi pli malnovan kuntekston, depende de la produkta dezajno.
Ĵetonuzado estas poste spurata laŭ kategorioj. Enigaj ĵetonoj estas tio, kion vi sendas. Eliĝaj ĵetonoj estas tio, kion la modelo generas. Kaŝmemoritaj ĵetonoj estas antaŭe viditaj instigilsegmentoj, kiujn provizanto povas reuzi pli malmultekoste en iuj arkitekturoj. Iuj altnivelaj modeloj ankaŭ uzas rezonadajn ĵetonojn, ekstra interna laboro farata antaŭ la fina respondo. Tiuj kategorioj gravas, ĉar ili influas kaj fakturon kaj sistemdezajnon.
Tial mallonga aspektanta peto povas esti pli granda ol ŝajnas. Mesaĝo povas inkludi la tekston de la uzanto, sisteman instigilon, kaŝitajn instrukciojn, ilajn skemojn, retrovenajn fragmentojn, konversacian historion kaj dosierojn. Ĉio tio povas kalkuli al la viva buĝeto. Por programistoj, ĵetonkalkulo do ne estas akademia ekzerco. Ĝi estas maniero antaŭdiri, ĉu dezajno estos pagebla, respondema kaj fidinda.
Lingvo ankaŭ gravas. Ĵetonnombroj ne mapas orde al signoj aŭ vortoj trans skribsistemoj. Anglaj ĝeneralaj taksoj povas esti direktece utilaj, sed ili estas nur malproksimumaj gvidiloj. Kio aspektas konciza al homo povas ĵetonigi tre malsame en alia lingvo aŭ alia modelfamilio.
La apero de longkuntekstaj modeloj ŝanĝis la diskuton, sed ne forigis la limon. Kunteksta fenestro de centoj da miloj aŭ eĉ miliono da ĵetonoj estas potenca, sed tio ne signifas "sendu ĉion". Longa kunteksto kostas monon, malrapidigas petojn, kaj povas malfaciligi relevancan administradon. Modelo, kiu teknikle povas legi tutan politikan bibliotekon, ankoraŭ profitas el bona retrovo, fragmentado kaj instigila strukturo.
Ĵetonaj mekanikaj aspektoj ankaŭ influas arkitekturajn decidojn. En retrovo-plifortigita generado, dokumentfragmentoj devas esti grandecigitaj tiel, ke utila indico konvenas ene de la buĝeto sen forpuŝi instrukciojn aŭ respondospacon. En konversaciaj sistemoj, teamoj ofte resumas pli malnovajn vicojn por konservi kuntekston. En kodaj asistantoj, grandaj kodbazo eble bezonas dosierselektadon, rangigon kaj kunpremadon. En agentsistemoj, ildifinoj kaj antaŭaj spuroj povas silente konsumi surprize grandan parton de la fenestro.
Provizantoj nun ofertas ilojn por kalkuli ĵetonojn antaŭ sendi peton. Tio estas grava operacia kontrolo. Ĝi permesas al teamoj decidi, ĉu direkti taskon al pli granda modelo, mallongigi enigaĵojn, limigi eliĝojn, aŭ uzi kaŝmemoron. Ĝi ankaŭ malhelpas ĵetonelspezojn fariĝi nevideblaj ĝis la fakturo alvenas.
Fina praktika punkto estas, ke ĵetonoj ne estas la sama kiel valoro. Redukti ĵetonnombron estas utila kie ĝi forigas malŝparon, kiel ripetatan ŝablontekston aŭ nerelevantajn retrovenajn fragmentojn. Sed agresema mallongigo ankaŭ povas forigi bezonatan kuntekston kaj degradi respondkvaliton. La ĝusta celo ne estas la plej malgranda instigilo. Ĝi estas la plej malgranda instigilo, kiu ankoraŭ donas al la modelo tion, kion ĝi bezonas por bone plenumi la taskon.
Ekzemploj
Klientserva teamo konstruas asistanton, kiu inkluzivas la tutan konversacian historion kaj plurajn longajn politikdokumentojn en ĉiu peto. La asistanto ŝajnas utila dum provo, sed ĵetonuzado kaj respondtempoj kreskas akre, kiam pli da teamoj komencas uzi ĝin. La problemo ne estas la modelo sola. Ĝi estas la ĵetona dezajno.
Interna sciobaza konversaciroboto retrovas dek grandajn dokumentfragmentojn por ĉiu demando, ĉar "pli da kunteksto devus helpi". En realeco, la respondkvalito malpliboniĝas, ĉar relevantaj detaloj estas entombigitaj, la kunteksta fenestro pleniĝas, kaj la sistemo elspezas monon legante nenecesajn tekstojn.
Plurlingva organizo rimarkas, ke instigiloj por la sama tasko kostas malsame trans komercaj unuoj. La laborfluo estis desegnita laŭ malproksimumaj anglaj ĵetonaj taksoj, sed malsamaj skribsistemoj kaj provizantaj ĵetonigistoj ŝanĝas uzadpadronojn.
Koda asistanto estas direktita al tre granda deponejo. Anstataŭ sendi tutajn dosierujojn al la modelo, la teamo aldonas dosierrangigon, fragmentadon kaj kaŝmemoron. La modelo fariĝas pli rapida, pli malmultekosta kaj pli fidinda, ĉar la ĵetona buĝeto estas administrata intence.
Oftaj miskomprenoj
Ofta miskomprenado estas, ke unu ĵetono egalas unu vorton. Tio ofte ne estas vera. Ĵetono povas esti vorto, parto de vorto, interpunkcio aŭ blankospaco alfiksita al vorto.
Alia estas, ke pli granda kunteksta fenestro forigas la bezonon de zorgema dezajno. Ĝi ne. Longa kunteksto estas potenca, sed nerelevanta aŭ malbone strukturita enigaĵo ankoraŭ povas redukti kvaliton, samtempe pliigante koston kaj latentecon.
Homoj ankaŭ supozas, ke ĵetonprezoj estas rekte komparablaj trans provizantoj. Ili estas nur parte komparablaj, ĉar malsamaj ĵetonigistoj, kaŝitaj sistemaj instigiloj, kaŝmemoraj reguloj, rezonada konduto kaj multimodala kalkulado povas ŝanĝi, kion reala laborfluo efektive kostas.
Fine, multaj teamoj optimumigas nur la videblan instigilon. Ili forgesas la kaŝitan ŝarĝon de konversacia historio, ildifinoj, retrovenaj fragmentoj kaj longaj eliĝoj.
Riskoj kaj limoj
La ĉefa risko kun ĵetonoj estas nevidebleco. Teamoj ofte rimarkas ilin nur kiam modelo trunkas, forgesas kuntekston, aŭ produktas surprizan fakturon. Tiam la dezajnproblemo jam estas enkonstruita en la laborfluo.
Ekzistas ankaŭ porteblolimiĝoj. Ŝanĝi modelojn povas ŝanĝi ĵetonnombrojn kaj efikan kuntekstan konduton, eĉ kiam la tasko aspektas identa. Instigilo, kiu konvenas komforte en unu sistemo, povas fariĝi multekosta aŭ malstabila en alia.
Rezonadaj modeloj aldonas alian tavolon. Ili povas uzi ekstra internajn rezonadajn ĵetonojn, kiuj povas pliigi elspezojn kaj redukti disponeblan spacon por la fina eliĝo, se la peto ne estas dezajnita zorge. Multimodalaj enigaĵoj povas fari la samon. Tial ĵetonkonscio devus esti ĉe inĝenieristiko, produkto kaj operacioj, ne nur ĉe programistaj iloj.
Kion fari poste
Demandu al ĉiu produkta AI-laborfluo kvar simplajn demandojn. Kiom da ĵetonoj eniras? Kiom kutime eliras? Kio alia estas aldonata malantaŭ la scenejo? Kio okazas, kiam la buĝeto estas superita?
Poste enkonduku simplan disciplinon. Kalkulu ĵetonojn antaŭ vivaj petoj, kie eblas. Limigu eliĝlongon, kie kvalito permesas. Forigu ripetatan ŝablontekston. Kaŝmemoru stabilan kuntekston. Konservu retrovon relevantan anstataŭ simple granda. Por konversacioj kaj agentoj, decidu kiel konversacia historio estos tondita aŭ resumata.
Poste, ligu ĵetonojn al elspezoj. Registru ĵetonuzadon laŭ laborfluo, teamo kaj modelo. Tio faciligas vidi, ĉu kostoj estas pelitaj de genuina valora uzkazo aŭ de evitebla instigila ŝvelado.
Fine, eduku neteknikajn posedantojn. Instigila klareco, fragmentgrandeco, dosierselektado kaj respondlongo ne estas malgravaj efektivigaj detaloj. Ili estas la kontroloj, kiuj decidas, ĉu AI-laborfluo restas praktika, kiam reala uzado komenciĝas.
Ĉu vi havas demandon aŭ sugeston, aŭ volas kompreni kiel ni esploras kaj recenzas tiujn gvidilojn? Legu pri niaj redakciaj normoj kaj kiel kontakti nin.
Oftaj demandoj
Kiom da vortoj estas en unu ĵetono?
Ne ekzistas preciza fiksita regulo. En la angla, malproksimumaj taksoj estas ofte ĉirkaŭ tri kvaronoj de vorto por ĵetono, sed la reala nombro dependas de la modelo, la ĵetonigisto, la lingvo kaj la preciza teksto.
Ĉu spacoj kaj interpunkcio kalkulas kiel ĵetonoj?
Jes, ofte jes. Ĵetonigistoj kutime alfiksas antaŭan spacon al la sekva vorto aŭ disigas interpunkcion en apartajn ĵetonojn.
Kio estas kunteksta fenestro?
Ĝi estas la kvanto de informo, kun kiu modelo povas labori en unu peto aŭ konversacia vico. Ĵetonoj plenigas tiun fenestron, do pli grandaj instigiloj aŭ eliĝoj konsumas pli da la disponebla memoro.
Kio estas kaŝmemoritaj ĵetonoj?
Ili estas instigilaj ĵetonoj, kiujn provizanto povas reuzi el pli fruaj petoj anstataŭ pretigi de nulo ĉiufoje. Iuj provizantoj fakturas kaŝmemoritajn ĵetonojn je reduktita tarifo.
Kio estas rezonadaj ĵetonoj?
En iuj altnivelaj modeloj, ili estas ekstra internaj ĵetonoj uzataj dum la modelo pensas tra problemo antaŭ produkti la videblan respondon. Ili povas influi kaj koston kaj disponeblan buĝeton.
Ĉu mi povas rekte kompari ĵetonprezojn inter vendistoj?
Nur zorge. Ĵetonnombroj varias laŭ ĵetonigisto, provizanta konduto kaj laborflua dezajno, do la plej malmultekosta listigita prezo por miliono da ĵetonoj ne estas ĉiam la plej malmultekosta reala laborfluo.
Fontoj
SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing (arXiv). Secondary, academic. Supports the explanation that modern tokenizers often use language independent subword pieces rather than full words.