Kio estas RAG? Teknika gvidilo
Scio, datumoj kaj integriĝo
Ĉi tio estas la teknika kunulo al nia ne-teknika piliero ĉe /what-is/rag. Retrieval-augmented generation (RAG) estas sistema arkitekturo, kiu ĉerpas relevajn fragmentojn el ekstera stokejo dum demandotempo kaj kondiĉigas la generadon de lingvomodelo per ili. Ĉi tiu gvidilo traktas la inĝenieradon: enigo, fragmentado, enkodaĵoj, vektora indeksado, densa kaj malabunda ĉerpado, rerangigo, kunteksta kunigo, generado, taksado kaj diagnozado de fiaskoj. Ĝi supozas, ke vi jam scias kio estas RAG kaj kial ĝi gravas komercie, kaj fokusiĝas sur la dezajnaj elektoj, kiuj decidas ĉu sistemo funkcias en produktado.
Reviziita de Jackie, Estro de Lernado kaj Disvolviĝo, Levellers - Laste reviziita la 8-an de junio 2026
Kion ĉi tio signifas
Se vi legis la ne-teknikan pilieron ĉe /what-is/rag, vi jam konas la koncepton ĉerpi-poste-generi, la analogion pri malferma-libro-ekzameno kaj la komercan argumenton. Ĉi tiu kunulo ne ripetas ilin. Ĝi estas skribita por tiuj, kiuj dezajnos, konstruos, taksos aŭ aĉetos RAG-sistemon: inĝenieraj gvidantoj, solvaĵ-arkitektoj, datumaj kaj aprendizaje automático-fakuloj.
La kadro por ĉio sube estas, ke RAG ne estas modelo, sed dukto. Demando trairas sekvencon da stadioj, el kiuj ĉiu povas sendepende degradi kvaliton. La ĉerpilo povas preteriri la relevantan fragmenton. La rerangilo povas entombigi ĝin. La fragmentilo povas esti dividinta ĝin tiel, ke la respondo ne plu troviĝas en iu ajn unuopa unuo. La generilo povas ignori tion, kio estis donita al ĝi. La plej granda parto de la disciplino de konstruado de RAG estas fari ĉiun stadion mezurebla, por ke vi povu diri, kiu malsukcesis. La cetero de ĉi tiu artikolo trairas la dukton de komenco ĝis fino, poste kovras taksadon, fiaskomodojn kaj la decidon konstrui kontraŭ aĉeti.
Kial ĝi gravas
La kvar komercaj avantaĝoj estas kovritaj sur la ne-teknika paĝo kaj ne estas ripetitaj ĉi tie. Kio gravas teknike estas kie kvalito, kosto kaj fidindeco efektive estas deciditaj, kaj la respondo malofte estas la lingvomodelo. Ĝi estas la ĉerpada tavolo. Forta modelo, kiu ricevas malĝustajn fragmentojn, produktas memfidan, fluan, malĝustan respondon, kiu estas pli malfacile kaptebla ol halucinado, ĉar ĝi aspektas grundita. La plej granda influo en RAG-sistemo sidas supre de la generado: en kiel dokumentoj estas analizitaj kaj dividitaj, kiu enkodaĵa modelo reprezentas ilin, kiel la indekso interŝanĝas rememorigon kontraŭ latenteco, kaj ĉu la ĉerpado estas densa, malabunda aŭ hibrida.
Ĉi tiuj elektoj ankaŭ fiksas vian kostan kaj latentecbuĝeton. Ĉiu stadio aldonas milisekundojn kaj, en multaj dezajnoj, API-vokon. Rerangigi grandan kandidatan aron, generi kuntekstajn resumojn por ĉiu fragmento, aŭ ruli plurajn ĉerpadajn pasojn ĉiuj aĉetas kvaliton je la prezo de latenteco kaj elspezoj. La laboro de seniora inĝeniero estas scii, kiuj el tiuj interŝanĝoj valoras fari por donita laborŝarĝo, kaj povi pruvi tion per nombroj anstataŭ intuicio. La sekcioj, kiuj sekvas, estas organizitaj por ke vi povu rezoni pri ĉiu interŝanĝo sendepende.
Kiel ĝi funkcias
La dukto de komenco ĝis fino
Produktada RAG-sistemo konsistas el du duktoj, kiuj renkontiĝas ĉe la indekso. La unua estas la eksterreta, aŭ eniga, dukto: fontdokumentoj estas ŝarĝitaj, analizitaj en puran tekston, dividitaj en fragmentojn, laŭvole riĉigitaj per kunteksto aŭ metadatenoj, enkodaĵitaj en vektorojn, kaj skribitaj al indekso kune kun ilia originala teksto kaj metadatenoj. La dua estas la reta, aŭ demanda, dukto: uzanta demando estas laŭvole transformita, enkodaĵita per la sama modelo uzita dum enigo, uzita por ĉerpi kandidatajn fragmentojn, laŭvole rerangigita, kunigita en prompton ene de la kunteksta fenestro, kaj pasigita al la generilo, kies eligo estas poste post-procesita por citado, formatado kaj sekurecaj kontroloj.
La datumfluo estas konkreta. 40-paĝa PDF-politikdokumento povus esti analizita en ĉirkaŭ 12 000 vortojn, dividita en ĉirkaŭ 60 fragmentojn de 200 ĝis 300 vortoj ĉiu, enkodaĵita en 60 vektorojn de, ekzemple, 1 024 dimensioj, kaj stokita. Dum demandotempo, la demando fariĝas unu vektoro, la indekso redonas la 20 aŭ 50 plej proksimajn fragmentojn, rerangilo malvastigas tion al la plej bonaj 5, tiuj 5 estas kunigitaj en prompton kun instrukcioj respondi nur el la liverita teksto kaj citi, kaj la modelo produktas respondon kun referencoj. Ĉiu sago en tiu fluo estas dezajna decido kaj ebla fiaskopunkto. La ceteraj subsekcoj traktas ilin unu post la alia.
Dokumenta pretigo kaj fragmentado
Fragmentado estas la plej subestimita levilo en la dukto. La ĉerpilo povas nur redoni unuojn, kiujn vi kreis dum enigo, do se la respondo al demando estas dividita trans fragmentolimo, neniu ĉerpada strategio povas reakiri ĝin intakte. Kvar familioj de strategio estas en komuna uzo. Fiksgrandeca fragmentado dividas laŭ ĵetona aŭ signokvanto kun laŭvola interkovro; ĝi estas simpla, rapida kaj ignoras dokumentan strukturon, do ĝi rutine tranĉas frazojn, tabelojn kaj klaŭzojn duone. Rekursiva fragmentado dividas hierarkie laŭ prioritata listo de apartigiloj (alineoj, poste frazoj, poste vortoj) ĝis fragmentoj konvenas al celgrandeco, kio respektas naturajn limojn multe pli bone. Semantika fragmentado metas limojn kie la enkodaĵa simileco inter apudaj frazoj malpliiĝas, grupigante tekston laŭ signifo anstataŭ longo. Struktur-konscia fragmentado uzas la propran markadon de la dokumento, kiel Markdown-titolojn, HTML-etikedojn aŭ PDF-aranĝon, por dividi laŭ sekcioj, vicoj kaj listoeroj.
La indico pri kion elekti estas nuancita. Struktur-konscia fragmentado tendencas doni la plej altan ĉerpadan efikecon sur dokumentoj kun reala strukturo, kaj je pli malalta komputila kosto ol semantika fragmentado. Semantika fragmentado plibonigas kuntekstan koherencon, sed ĝiaj gajnoj super fikslongaj bazlinioj ne ĉiam estas sufiĉe grandaj por pravigi ĝian koston, kaj dependas forte de la datumaro. Fragmentograndeco kaj interkovro estas la du parametroj, kiujn vi plej ofte agordos. Pli malgrandaj fragmentoj pliigas precizecon (ĉiu unuo estas dense temfokusita) sed riskas fragmentigi respondojn kaj perdi kuntekston; pli grandaj fragmentoj konservas kuntekston sed diluas la enkodaĵon per ekstertemaj tekstoj kaj malŝparas kuntekstfenestran buĝeton. Interkovro, kutime 10 ĝis 20 procentoj de fragmentograndeco, reduktas limtranĉajn perdojn je la prezo de duobligo en la indekso.
Tabeloj, PDF-oj kaj titoloj meritas specifan traktadon. Naiva tekstoeltirado el PDF linearizas kolumnojn kaj detruas tabelojn, do figuro finiĝas apud la malĝusta etikedo. Aranĝ-konsciaj analiziloj, tabeloeltiradaj pasoj, kaj konvertado de tabeloj al Markdown aŭ frazoformo antaŭ fragmentado ĉiuj materiale helpas. Titoloj devus esti konservitaj kaj ideale antaŭmetitaj al ĉiu infra fragmento kiel metadatenoj, por ke fragmento prenita el profundo de dokumento ankoraŭ sciu, al kiu sekcio ĝi apartenas. Metadatenoj kaptitaj dum enigo (fonto, aŭtoro, dato, sekcio, dokumenttipo, alirravelo) ne estas dekoracio: ili potencos filtriladon, freŝeckontrolan kaj permeso-konscia ĉerpado poste en la dukto. Traktu fragmentadon kiel kernan esploradon kun sia propra taksado, ne kiel antaŭpretigan postpenso.
Enkodaĵoj en praktiko
La koncepto de enkodaĵoj estas kovrita ĉe /what-is/embeddings; ĉi tie la zorgo estas selektado kaj operacioj. Enkodaĵa modelo mapas tekston al densa vektoro tiel, ke semantike simila teksto ateruas proksime en la vektora spaco. La ununura plej grava operacia regulo estas, ke la sama modelo devas enkodaĵi kaj la indeksitajn fragmentojn kaj la alvenantajn demandojn. La vektora spaco estas model-specifa; demanda vektoro el unu modelo kaj fragmenta vektoro el alia ne estas komparablaj, kaj similecpoentoj inter ili estas sensencaj. Ĉi tio sonas evidenta kaj estas konstante malobservata, kutime post bonintenca modelupdato.
Modelelekto devus esti gvidata de indico anstataŭ reputacio. Neniu ununura enkodaĵa metodo dominas trans ĉiuj taskoj, do modelo, kiu superas leaderboard-on por semantika simileco, eble ne estas la plej bona por via ĉerpada laborŝarĝo. La Massive Text Embedding Benchmark (MTEB) ekzistas ĝuste ĉar rendimento ne transiras pure trans taskoj; uzu ĝin por mallongigi la liston, poste taksu kandidatojn sur viaj propraj datumoj. Dimensieco estas rekta interŝanĝo: pli altdimensiaj vektoroj povas kapti pli da nuanco sed kostas pli da memoro kaj komputado por ĉiu komparo, kaj la gajno ofte plafoniĝas. Domajnkonveno gravas pli ol kruda dimensiokvanto: modelo trejnita sur ĝenerala retoteksto povas malperformi pli malgrandan domajn-agorditan modelon sur juraj, klinikaj aŭ koda korpusoj.
La operacia realeco, kiu kaptas teamojn, estas re-enkodaĵado. Ŝanĝi la enkodaĵan modelon ne estas konfiguracia ŝanĝo; ĝi malvalidigas ĉiun vektoron en via indekso. Vi devas re-enkodaĵi la tutan korpuson, kio por grandaj sciobazoj estas substanca komputila kosto kaj haveblecproblemo se farita enloke. Planu enkodaĵ-modelŝanĝojn kiel migradojn: konstruu la novan indekson flanke de la malnova, validu ĉerpadan kvaliton sur via taksara aro, poste transiru. Traktu la enkodaĵan modelon kiel longvivan dependaĵon, ĉar ŝanĝi ĝin estas multekosta kaj perturbiga.
Indeksado kaj vektora serĉado
La koncepto de vektora datumbazo estas kovrita ĉe /what-is/vector-database. La inĝeniera demando estas kiel plej-proksima-najbaro-serĉado skalas. Ekzakta plej-proksima-najbaro-serĉado super milionoj da altdimensiaj vektoroj estas tro malrapida por interaga uzo, do produktadaj sistemoj uzas aproksimajn plej-proksimajn-najbaro (ANN) metodojn, kiuj interŝanĝas malgrandan, kontroleblan rememorigperdon kontraŭ grandajn gajnojn en rapido kaj memoro. Tri familioj dominas. Hierarchical Navigable Small World (HNSW) konstruas plurnivelaj proksimecgrafon kaj navigas de gruba supra tavolo malsupren al finaj tavoloj, atingante logaritme-skaladan serĉadon kun alta rememorigo; ĝi estas la defaŭlto en la plej modernaj vektoraj storoj kaj estas memoro-malsata sed rapida. Inversigita dosiero (IVF) indeksas particigas la spacon en aretojn kaj serĉas nur la aretojn plej proksimajn al la demando, interŝanĝante rememorigon kontraŭ la nombro da aretoj esplorataj. Produkta kvantumigo (PQ) kunpremas vektorojn en mallongajn kodojn dividante ĉiun vektoron en subvektorojn kaj kvantumigante ĉiun aparte, kio dramece reduktas memoron je iom da precizecperdo; IVF kaj PQ estas ofte kombinitaj (IVF-PQ) por miliard-skala korpusoj.
La reganta interŝanĝo estas rememorigo kontraŭ latenteco kaj memoro. HNSW malkaŝas parametrojn (la grafgrado M, kaj la serĉ-tempa larĝeco efSearch), kiuj permesas al vi altiĝi rememorigon je la kosto de demandotempo kaj konstruotempo. Ne ekzistas universale ĝusta agordo; ĝi dependas de korpusgrandeco, dimensieco kaj via latentecbuĝeto, kaj devus esti agordita kontraŭ mezurita rememorigo sur viaj propraj demandoj. Kie la indekso loĝas estas aparta decido. Vi povas ruli dediĉitan vektoran storon, aŭ uzi vektorajn funkciojn, kiuj estas ĉiam pli enkonstruitaj en ekzistantajn datumbazojn kaj serĉmaŝinojn (PostgreSQL kun pgvector, OpenSearch kaj Elasticsearch, kaj aliaj). Por multaj teamoj la ĝusta unua paŝo estas aldoni vektoran serĉadon al datumbazo, kiun ili jam operacias, anstataŭ enkonduki novan sistemon, poste diplomiĝi al dediĉita storo nur kiam skalo aŭ funkciaj bezonoj postulas ĝin.
Ĉerpadaj strategioj
Ekzistas du fundamentale malsamaj manieroj trovi relevantan tekston, kaj la plej fortaj sistemoj uzas ambaŭ. Densa ĉerpado enkodaĵas demandon kaj dokumentojn en la saman vektoran spacon kaj trovas plej proksimajn najbarojn; ĝi kaptas signifon kaj bone traktas parafrazon kaj sinonimecon, kio estas ĝia granda avantaĝo super ŝlosilvorta serĉado. Densa fragmentoĉerpado demonstris, ke lernita duobla enkodilo povas superi fortan leksikan bazlinion substancie sur malfermdomajnaj demandorespondo: la densa ĉerpilo superperformis fortan Lucene-BM25-sistemon je 9 ĝis 19 procentoj absoluta en top-20 fragmentoĉerpada precizeco, establante densan ĉerpadon kiel la defaŭltan semantikan metodon. Malabunda ĉerpado, klasike BM25, poentumas dokumentojn laŭ pezita ekzakta terminterkovro; ĝi estas nevenkeble por maloftaj ĵetonoj, kodoj, produktnombroj, nomoj kaj akronimoj, kiujn enkodaĵo povas kunfandi, kaj ĝi bezonas neniun trejnadon.
Hibridĉerpado rulas ambaŭ kaj kunfandas la rezultojn, ĉar iliaj fiaskomodoj estas komplementaj: densa ĉerpado trovas la koncepte relevantan fragmenton, kiu ne dividas ŝlosilvortojn, malabunda ĉerpado trovas la ekzaktan identigilon, kiun la enkodaĵo preteratentis. La norma kunfandmetodo estas Reciprocal Rank Fusion (RRF), kiu poentumas ĉiun dokumenton sumigante la reciprokojn de ĝia rango en ĉiu rezultlisto, kun konstanto k, kiu kontrolas kiom krute influo malpliiĝas kun rango. RRF estis montrita konstante doni pli bonajn rezultojn ol iu ajn individua sistemo kaj pli bonajn rezultojn ol la norma Condorcet Fuse-metodo; la valoro k = 60 uzita en la originala studo restas la defaŭlto en OpenSearch, Elasticsearch, Azure AI Search kaj Weaviate. RRF estas populara ĉar ĝi operacias sur rangoj, ne krudaj poentoj, do ĝi evitas la problemon, ke BM25-poentoj kaj kosinusaj similecoj loĝas sur nekomparablaj skaloj, kaj ĝi bezonas neniun agordadon por bone funkcii.
Preter la kernaj ĉerpiloj, pluraj teknikoj pliigas rememorigon kaj precizecon. Metadatena filtrado restriktas la serĉadon al fragmentoj kongruantaj kun strukturitaj predikatoj (datintervalo, dokumenttipo, alirravelo) kaj estas esenca por kaj relevanco kaj permesoj. Demandotransformo reverkigas la krudan demandon de la uzanto en formon, kiu ĉerpas pli bone: vastigado aldonas sinonimojn aŭ rilatajn terminojn; multi-demando generas plurajn parafrazojn kaj uniigas iliajn rezultojn por kovri pli da la relevanta spaco. Hypothetical Document Embeddings (HyDE) estas rimarkinda transformo, kiu petas modelon skizi hipotezan respondon, poste enkodaĵas tiun skizon por ĉerpi realajn dokumentojn proksimajn al ĝi, kio povas superperformi fortan nenadzorita densan ĉerpilon en nul-pafo-kontekstoj. La top-k-parametro (kiom da kandidatoj ĉerpado redonas) estas la rememorigo-kosta regilo: pli granda k pliigas la ŝancon, ke la respondo estas ie en la aro, sed aldonas bruon kaj malsupran koston, kio estas ĝuste kion rerangado ekzistas por solvi.
Rerangado
Ĉerpado kaj rerangado uzas malsamajn modelarkitekturojn pro kialo. Duobla enkodilo (la duobla enkodilo uzata por densa ĉerpado) enkodaĵas demandon kaj dokumenton aparte, kio estas kio faras indeksadon ebla: vi enkodaĵas ĉiun fragmenton unufoje, anticipe, kaj nur la demandon dum rultempo. La prezo de tiu efikeco estas, ke demando kaj dokumento neniam interagas ĝis la fina punktoprodukto, do subtilaj relevancaj signaloj perdiĝas. Kruca enkodilo pasas la demandon kaj kandidatan dokumenton tra la modelo kune, lasante ĉiun demandan ĵetonon atenti al ĉiu dokumenta ĵetono, kio produktas multe pli precizan relevancpoenton. Finagordita BERT-Large kruca enkodilo atingis MRR@10 de 35.8 sur la MS MARCO fragmentorangiga taksara aro kiel la supra leaderboard-eniro, superperformante la antaŭan staton de la arto je 27 procentoj relativa en MRR@10, kaj proksimume duobligante la MRR@10 de BM25.
La kaptiĝo estas kosto. Kruca enkodilo devas ruli unufoje por ĉiu kandidata dokumento dum demandotempo, do vi ne povas ruli ĝin super tuta korpuso. Tial la establita dezajno estas du-stadia ĉerpi-poste-rerangi: malmultekosta duobla enkodilo aŭ hibridĉerpilo ĉerpas kandidatan aron (ekzemple la suprajn 50 ĝis 100), poste multekosta kruca enkodilo reordigas tiun aron kaj vi konservas la supran pelon. Nul-pafo-taksadoj trans diversaj ĉerpadaj taskoj konfirmas la ŝablonon: rerangad-bazitaj modeloj atingas la plej bonan precizecon sed je alta komputila kosto, dum densaj ĉerpiloj estas pli malmultekostaj sed ofte malpli precizaj. Rerangado meritas sian latentecpagon kiam unua-stadia ĉerpado redonas la ĝustajn fragmentojn sed en malĝusta ordo, aŭ kiam vi bezonas altan precizecon en malgranda fina kunteksto. Se via ĉerpilo jam redonas la respondon ĉe rango unu, rerangilo aldonas latentecpagon por malgranda gajno, kial vi mezuras antaŭ ol aldoni ĝin.
Kunteksta kunigo kaj generado
Kiam vi havas viajn finajn fragmentojn, vi devas enigi ilin en la kuntekstan fenestron, la fiksan ĵetonbuĝeton, kiun la modelo povas atenti, kovrita ĉe /what-is/context-window. Naive kunigi ĉion, kion vi ĉerpis, estas eraro pro du kialoj. Unue, ĝi malŝparas buĝeton kaj monon sur marĝenaj fragmentoj. Due, kaj malpli evidente, kie vi metas fragmenton gravas: lingvomodeloj uzas informojn ĉe la komenco kaj la fino de longa kunteksto multe pli fidinde ol informojn entombigitajn en la mezo, degradado, kiu validas eĉ por modeloj merkatitaj kiel longkuntekstaj. La praktika sekvo estas meti la plej gravajn ĉerpitajn fragmentojn unue kaj laste, konservi la ĉerpitan aron mallarĝa, kaj ne supozi, ke pli granda fenestro signifas, ke vi povas ŝuti pli en ĝin.
Promptkonstruado por grunditaj respondoj estas sia propra malgranda disciplino. La sistemprompto devus instrukciigi la modelon respondi nur el la liveritaj fragmentoj, citi el kiu fragmento ĉiu aserto venis (pasu stabilajn fragmentidentigajn kune kun la teksto por ke ĝi povu), kaj grave absteni, diri, ke ĝi ne scias, kiam la fragmentoj ne enhavas la respondon. Tiu lasta instrukciigo estas kio konvertas memfidan fabrikadon en honestan "ne trovita", kaj ĝi estas la ununura plej valora linio en la plej multaj RAG-promptoj. RAG reduktas sed ne eliminas halucinadon, kiel la ne-teknika piliero notas; eksplicitaj absteniĝinstrukcioj, citadaj postuloj kaj konservado de la kunteksto fokusita estas la leviloj, kiuj puŝas la rezidualan indicon malsupren.
Altnivela kaj aktualaj ŝablonoj
Pluraj ŝablonoj etendas la bazan dukton, kaj valoras esti klara pri kio estas establita kontraŭ emerĝanta. Demandorutado, sendante demandon al unu el pluraj indeksoj, iloj aŭ promptoj laŭ ĝia tipo, estas establita kaj malalta risko. Gepatradokumenta, aŭ malgranda-al-granda, ĉerpado estas establita kaj vaste uzata: vi enkodaĵas kaj ĉerpas sur malgrandaj, precizaj infrafragmentoj por precizeco, poste pasas la pli grandan gepatrafragmenton aŭ plenan sekcion al la modelo por kunteksto, ricevante la plej bonon el ambaŭ granularecoj. Multi-salta, aŭ iteracia, ĉerpado, kie la sistemo ĉerpas, rezonas, poste ĉerpas denove uzante kion ĝi lernis, estas necesa por demandoj, kies respondo postulas ĉenigi faktojn trans dokumentoj, kaj moviĝas el esplorado en ĉiutagan praktikon.
Kunteksta ĉerpado, antaŭmetante mallongan model-generitan resumon, kiu situas ĉiun fragmenton ene de ĝia fontdokumento antaŭ enkodaĵado kaj indeksado, estas lastatempa kaj bone-evidencita tekniko. Aldoni kuntekstajn enkodaĵojn sole reduktas la top-20-fragmenta ĉerpada fiaskindicon je 35 procentoj (de 5.7 procentoj al 3.7 procentoj); kombini kuntekstajn enkodaĵojn kun kunteksta BM25 reduktas ĝin je 49 procentoj (al 2.9 procentoj); kaj rerangigi la kuntekstigitajn hibridajn rezultojn reduktas ĝin je 67 procentoj (al 1.9 procentoj). GraphRAG, kiu uzas lingvomodelojn por konstrui enteco-kaj-rilata sciografon el la korpuso kaj antaŭgeneras komunumajn resumojn, celas specifan malforton: globalajn "sencfaradajn" demandojn super tuta korpuso ("kiuj estas la ĉefaj temoj?"), kiujn vektora ĉerpado traktas malbone ĉar neniu ununura fragmento enhavas la respondon. Ĝi estas potenca sed multekosta konstrui kaj prizorgi, do ĝi estas pravigita de la demandtipo, ne adoptita defaŭlte. Agenta RAG, kie model-gvidata agento decidas kiam ĉerpi, kion ĉerpi, kaj ĉu ĉerpi denove, kaj povas kritiki sian propran skizon, estas la antaŭa rando; mem-reflektaj aliroj, kiuj trejnas modelon ĉerpi laŭpostule kaj taksi sian propran eliron, montris signifajn gajnojn en faktualeco kaj citada precizeco por longforma generado, ekzemple poentante 81 procentojn sur la PubHealth faktoverifikada tasko kaj 80 procentojn faktualeco sur biografiogenerado kontraŭ ChatGPT-a 71 procentoj. Traktu agentan RAG kiel promesplenan kaj rapide moviĝantan anstataŭ stabilan, kaj instrumentu ĝin peze, ĉar ĉiu aldonita decidpunkto estas alia fiaskomodo.
Taksado
Taksado estas la disciplino, kiu apartigas funkciantan sistemon de konvinka demo. Vi ne povas okule taksi RAG-kvaliton; sistemo, kiu bone respondas dek elektitajn demandojn, povas malsukcesi sur la dek-unua laŭ manieroj, kiujn vi nur kaptos per mezurado. La fundamento estas ora, aŭ taksara, aro: kuraca kolekto de reprezentaj demandoj parigitaj kun konataj-bonaj respondoj kaj la fragmentoj, kiuj subtenas ilin, konstruita el realaj uzantaj demandoj kie eblas. Sen ĝi vi agordas blinde.
Mezurado dividiĝas klare en du tavolojn. Ĉerpadaj metrikoj demandas ĉu la ĝustaj fragmentoj estis trovitaj kaj bone rangigitaj: recall@k (ĉu la relevanta fragmento aperis en la supraj k), precizeco (kiom da la redonitaj fragmentoj estis relevantaj), Mean Reciprocal Rank (kiom alte la unua relevanta fragmento rangis), kaj normigita Discounted Cumulative Gain (nDCG, kiu rekompencos meti la plej relevantajn fragmentojn plej alte). Ĉi tiuj permesas al vi agordi fragmentadon, enkodaĵojn, top-k kaj rerangadon izolite, antaŭ ol generado malklaras la bildon. Tutfina kaj generadaj metrikoj demandas ĉu la fina respondo estas bona: fidindeco aŭ grunditeco (ĉu ĉiu aserto estas subtenata de la ĉerpita kunteksto, la rekta mezuro de halucinado), respondrelevanco (ĉu la respondo traktas la demandon), kaj kunteksta precizeco kaj rememorigo (ĉu la ĉerpita kunteksto estis fokusita kaj kompleta). Rekonitaj kadroj kiel RAGAS provizas referencliberajn metrikojn por fidindeco, respondrelevanco kaj kuntekstrelevanco, kaj referenctestoj kiel BEIR (nul-pafo-ĉerpado) kaj MTEB (enkodaĵoj) helpas vin elekti komponantojn. Instrumentu ambaŭ tavolojn, ĉar tutfina fiasko diras al vi, ke io rompis sed ne kie; la ĉerpadaj metrikoj diras al vi ĉu rigardi supren aŭ malsupren.
Fiaskomodoj kaj arkitekturaj elektoj
La valoro de du-tavola taksado estas, ke ĝi lokalizas fiaskon. Kiam RAG-respondo estas malĝusta, izolu la stadion. Ĉerpada maltrafo signifas, ke la relevanta fragmento neniam estis en la kandidata aro: kontrolu fragmentadon, la enkodaĵan modelon, kaj ĉu vi bezonas hibridon aŭ pli altan k. Rerangada maltrafo signifas, ke la fragmento estis ĉerpita sed la rerangilo puŝis ĝin el la fina aro: kontrolu la rerangilon kaj la fina-k-tranĉon. Generada maltrafo signifas, ke la ĝusta fragmento estis en la prompto sed la modelo ignoris ĝin, kontraŭdiris ĝin, aŭ halucinigis ĉirkaŭ ĝi: kontrolu la prompton, la absteniĝinstrukciigon kaj kuntekstordigon. Mankhava-fonta fiasko signifas, ke la respondo simple ne estas en la korpuso, en kiu kazo la ĝusta konduto estas absteniĝo, ne invento. Diagnozi ĉi tiujn postulas protokoladi la mezajn artefaktojn (ĉerpitaj fragmentidentigaj, rerangadpoentoj, fina prompto) por ĉiu demando, kion la plej multaj teamoj aldonas nur post sia unua produktada incidento.
Ĉi tiu kadro ankaŭ klarigas la pli grandajn arkitekturajn elektojn, inkluzive kiel RAG rilatas al finagordado kaj longkuntekstaj aliroj. La koncepta diferenco (konduto kontraŭ informo) estas sur la ne-teknika paĝo; la inĝeniera interŝanĝo estas ĉi tio. Finagordado ŝanĝas kio la modelo estas kaj kiel ĝi kondutas, kostas trejnadan komputadon, kaj baksas scion en punkto en tempo, do ĝi konvenas al stilo, formato kaj mallarĝdomajnaj kondutoj sed ne al rapide ŝanĝiĝantaj faktoj. Longkunteksta promptado, metante tutajn dokumentojn en la fenestron, evitas ĉerpadan tavolon sed pagas per ĵetono sur ĉiu voko, skalas malbone en kosto kaj latenteco dum dokumentoj kreskas, kaj renkontas la perdita-en-la-mezo-degradadon; pli granda fenestro ne estas memorarkitekturo kaj ne forigas la bezonon decidi kion montri al la modelo. RAG konservas scion ekstera, aktuala kaj kontrolebla, je la kosto de duktokomplekseco. Ĉi tiuj estas komplementoj, ne rivaloj: matura sistemo povas finagordadi por tono, uzi RAG por faktoj, kaj rezervi longkuntekston por tutdokumenta rezonado sur ununura ĉerpita dosiero. La konstrui-kontraŭ-aĉeti-decido sekvas la saman logikon: administritaj ĉerpado kaj RAG-servoj forigas nediferencigitan pezajn laborojn kaj estas sensa defaŭlto por unua sistemo, dum la argumento por konstruado kreskas kun skalo, latentecaj postuloj, datumloĝejaj limigoj kaj la bezono kontroli ĉiun stadion. Buĝetu latentecpagon kaj koston trans la tuta dukto (enkodaĵado, ĉerpado, rerangado, generado, kaj iuj ekstra ĉerpadaj aŭ resumadaj pasoj) anstataŭ optimumigi unu stadion, ĉar la plej malrapida aŭ plej multekosta stadio fiksas vian envelopon.
Ekzemploj
Hibridĉerpada sciasistanto kun rerangado. Interna asistanto super politiko, HR kaj inĝenieraj dokumentoj. Enigo uzas struktur-konscia fragmentadon, kiu respektas Markdown kaj PDF-titolojn, antaŭmetas la sekcivojon al ĉiu fragmento kiel metadatenojn, kaj stokas alirravelajn etikedojn. Ĉerpado estas hibridaj: densa ĉerpilo por konceptaj demandoj kaj BM25 por ekzaktaj politikaj kodoj kaj produktnomoj, kunfandita per RRF. La kunfandita supraj 50 estas rerangigita per kruca enkodilo al la plej bonaj 5, kiuj estas ordigitaj plej-relevanta-unue-kaj-laste en la prompto. La generilo estas instrukciigita citi fragmentidentigajn kaj absteni kiam la fragmentoj ne enhavas la respondon. Ĉi tio estas la sensa defaŭlta arkitekturo por la plej multaj entreprena demandorespondo, kaj la bazlinio, kontraŭ kiu ĉiu teamo devus mezuri antaŭ ol aldoni kompleksecon.
Alta-rememorigo reguligita-dokumento-sistemo. Sistemo super klinikaj aŭ financaj dosieroj, kie preteriri relevantan klaŭzon estas la ĉefa peko. Ĉi tie la dezajno biasas ĉion al rememorigo: pli malgrandaj fragmentoj kun malavara interkovro por ke neniu klaŭzo estu tranĉita, alta top-k, hibridĉerpado por kapti kaj ekzaktajn reguligajn referencojn kaj parafrazitajn devojn, kaj rerangilo por restarigi precizecon post la larĝa unua-stadia reto. Permeso-konscia filtrado estas aplikata dum ĉerpadotempo, ne post generado, do la modelo neniam vidas fragmenton, por kiu la uzanto ne estas rajtigita. Taksado pezas recall@k peze kaj strikte spuras fidindecpagon, kaj la absteniĝkonduto estas testita kiel unuaranga postulo ĉar malĝusta memfida respondo ĉi tie portas realan respondecon.
Multi-salta esplorasistanto. Sistemo respondanta demandojn, kiuj postulas ĉenigi faktojn ("kiuj provizantoj menciitaj en la 2024-a riskraporto ankaŭ aperas en la aĉetaj esceptoj-protokolo?"). Ununura ĉerpada paso ne povas respondi ĉi tion, do la dezajno estas iteracia: ĉerpi, lasi la modelon identigi kion ĝi ankoraŭ bezonas, ĉerpi denove per rafinita demando, kaj sintezi. Gepatradokumenta ĉerpado donas precizan kongruon sur infrafragmentoj kun plena-sekcio-kunteksto por rezonado. Ĉi tio estas la plej kapabla kaj la plej fragila el la tri; ĝi bezonas la plej pezan instrumentadon, per-salta protokolado, kaj striktajn gardostarantojn sur la nombro da iteracioj por limigi latentecpagon kaj koston.
Oftaj miskomprenoj
"Sufiĉe granda kuntekstfenestro forigas la bezonon de ĉerpado." Ĝi ne faras. Modeloj uzas informojn ĉe la komenco kaj fino de longa kunteksto multe pli fidinde ol la mezo, do ŝtopi fenestron degradas kvaliton eĉ kiam la respondo estas ĉeestanta, kaj vi pagas per ĵetono sur ĉiu voko. Ĉerpado decidas kio meritas esti en la fenestro; granda fenestro estas pli granda skribotablo, ne bibliotekisto.
"Pli da fragmentoj estas ĉiam pli bone." Altigi top-k pliigas rememorigon sed aldonas bruon, diluas la prompton, pliigas koston, kaj povas puŝi la modelon al nerelevantaj fragmentoj. Preter certa punkto, pli da ĉerpitaj fragmentoj malpliigas respondkvaliton. La solvo estas mallarĝa fina aro, kion rerangado produktas.
"Vektora serĉado sole superas hibridon." Densa ĉerpado traktas signifon sed kunfandas ekzaktajn ĵetonojn, kodojn, nomojn kaj maloftajn terminojn, kiujn BM25 precize kaptas. Iliaj eraroj estas komplementaj, kial kunfandita hibridĉerpado konstante superas ĉiun solan sur heterogenaj korpusoj.
"Enkodaĵoj el malsamaj modeloj estas komparablaj." Ili ne estas. Ĉiu modelo difinas sian propran vektoran spacon; miksi demandan vektoron el unu modelo kun fragmentaj vektoroj el alia produktas sensencajn similecojn. Indekso kaj demando devas uzi la saman modelon, kaj ŝanĝi ĝin signifas re-enkodaĵi ĉion.
"Taksado povas esti okule farita." Demo pruvas, ke sistemo povas funkcii, ne ke ĝi funkcias. Sen ora aro kaj ambaŭ ĉerpadaj kaj generadaj metrikoj, vi ne povas diri ĉu ŝanĝo helpis, kaj vi ne povas lokalizi fiaskon al stadio. Mezurado estas la diferenco inter inĝenierado kaj espero.
Riskoj kaj limoj
La fiaskomoda taksonomio supre (ĉerpada maltrafo, rerangada maltrafo, generada maltrafo, mankanta fonto) estas la kerna diagnoza disciplino; protokolu mezajn artefaktojn por ke vi povu apliki ĝin. Preter precizeco, tri operaciaj riskoj dominas. Freŝeco kaj sinkronigado: indekso estas momentfoto, do kiam fontdokumento ŝanĝiĝas aŭ estas forigita, la indekso devas esti ĝisdatigita aŭ la sistemo memfide citos malfreŝan aŭ retirintan enhavon. Forigo estas la pli malfacila duono; retirita dokumento devas forlasi la indekson, kaj "rajto esti forgesita" devoj faras ĉi tion konformecafero, ne nur higieno. Permeso-konscia ĉerpado: alirkontrolo devas esti devigata ĉe la ĉerpada stadio per metadatena filtrado, por ke la modelo neniam ricevu fragmenton, por kiu la uzanto ne estas rajtigita. Filtri post generado estas tro malfrue, ĉar la respondo povas jam enkorpigi la protektitan enhavon.
Sekurecaj fiaskomodoj meritas teknikan montrilon anstataŭ plena traktado ĉi tie; konsultu dediĉitajn sekurecajn klarigistojn kaj la OWASP kaj NIST-rimedojn por profundo. Du kategorioj estas RAG-specifaj. Sciobaza veneniĝo estas kiam atakanto plantas malican aŭ misgvidantan enhavon en fonto, kiun la sistemo eniras, do la venenigita fragmento estas poste ĉerpita kaj fidita; OWASP priskribas ĉi tiun datumveneniĝan riskon kiel enhavon, kiu "povas origini de internuloj, promptoj, datumaj semadoj aŭ neverigitaj datumaj provizantoj, kondukante al manipulitaj modelaj elirojn." Nerekta prompta injekto estas kiam ĉerpita enhavo mem enhavas instrukciojn, kiuj kaperas la modelon, ekzemple kaŝita teksto en engirita dokumento diranta al la modelo ignori siajn instrukciojn; OWASP difinas ĉi tiujn kiel okazantajn "kiam LLM akceptas enigon el eksteraj fontoj, kiel retejoj aŭ dosieroj", kaj notas, ke teknikoj kiel RAG "ne plene mildigas prompta injekto-vundeblecojn." Ĉar RAG intence pasas eksteran enhavon en la prompton, ĝi estas strukture ekspozita al ĉi tio. OWASP traktas "Vektoran kaj Enkodaĵan Malfortojn" (LLM08:2025) kiel apartan riskon, avertante, ke "malfortoj en kiel vektoroj kaj enkodaĵoj estas generitaj, stokitaj aŭ ĉerpitaj povas esti ekspluatataj... por injekti damaĝan enhavon, manipuli modelan eliron, aŭ aliri sentemajn informojn", kaj flagas nerajtigitan aliron, trans-luantan kuntekstan likadon en multi-luantaj vektoraj storoj, kaj enkodaĵa inversiga atakoj, kiuj "reakiras signifajn kvantojn da fontinformoj." Prompta injekto (LLM01:2025) estas la plej alta rangigita LLM-aplika risko de OWASP. Mildigoj inkluzivas trakti ĉerpitan enhavon kiel nefidinda, izoli kaj klare dislimigi ĝin en la prompto, apliki minimuman privilegion al la storo, kaj validigi engiritajn fontojn. La NIST Generativa AI-Profilo (NIST AI 600-1, publikigita julio 2024) provizas komplementan riskovortaron, enumerante dek du GenAI-riskokategoriojn inkluzive konfabuladon (ĝia termino por halucinado), informsekurecon kaj informintegrecon, kun datumveneniĝo traktata ene de tiuj areoj.
Fine, la limoj de RAG kiel arkitekturo. RAG grundas respondojn en ĉerpita teksto; ĝi ne rezonas super la tuta korpuso samtempe, do globalaj sencfaradaj demandoj bezonas graf-pliigitajn aŭ resumadajn aliroj. Ĝi ne povas respondi kio ne estas en ĝiaj fontoj, kaj la ĝusta konduto tie estas absteniĝo. Kaj ĝi heredas la fontkvaliton-dependecon, kiun la ne-teknika paĝo kadras kiel "rubo eniras, rubo eliras": neniu ĉerpada lerteco kompensos korpuson, kiu estas malĝusta, kontraŭdira aŭ malaktuala.
Kion fari poste
Ĉi tiuj estas teknikaj gvidantaj agoj, apartaj de la sekvenĉitaj ne-teknikaj paŝoj sur /what-is/rag.
Unue, konstruu la taksaran aron antaŭ ol vi konstruas la sistemon. Kuraci reprezentajn demandojn kun konataj-bonaj respondoj kaj subtenantaj fragmentoj el realaj uzantaj demandoj. Ĉi tio estas la aktivo, kiu permesas ĉiun postan decidon esti mezurita anstataŭ argumentita, kaj ĝi estas la ununura plej alta-rendimenta afero, kiun vi povas fari.
Due, instrumentu ĉiun stadion. Protokolu ĉerpitajn fragmentidentigajn, rerangadpoentojn kaj la finan kunigitan prompton por ĉiu demando ekde la unua tago. Sen ĉi tio vi ne povas lokalizi fiaskojn, kaj vi aldonos ĝin tamen post via unua incidento, do aldonu ĝin nun.
Trie, komencu per hibridĉerpado plus rerangada bazlinio. Densa plus BM25 kunfandita per RRF, kruca enkodila rerangilo super la supraj 50, mallarĝa fina kunteksto kun absteniĝinstrukcioj. Mezuru ĝin sur via taksara aro. Aldonu kuntekstan ĉerpadon, multi-saltan, GraphRAG aŭ agentajn ŝablonojn nur kiam la metrikoj montras la bazlinion malsukcesantan sur specifa demandtipo, kaj pruvu, ke ĉiu aldono meritas sian latentecpagon kaj koston.
Kvare, buĝetu latentecpagon kaj koston trans la tuta dukto. Sumigu enkodaĵadon, ĉerpadon, rerangadon, generadon kaj iujn ekstra pasojn, kaj trovu la stadion, kiu fiksas vian envelopon antaŭ ol optimumigi. Rerangado kaj per-fragmenta kuntekstigado aĉetas kvaliton por latentecpago kaj elspezoj; konu la interŝanĝan kurzon por via laborŝarĝo.
Kvine, decidu konstrui kontraŭ aĉeti delibere. Administrita ĉerpada servo estas sensa defaŭlto por unua sistemo kaj forigas nediferencigitan laboron. La argumento por konstruado kreskas kun skalo, strikta latentecpago, datumloĝejaj limigoj kaj la bezono kontroli ĉiun stadion. Revizitu la decidon kiam iu ajn el tiuj sojloj estas transpaŝita, ne antaŭe.
La referenctesto, kiu devus ŝanĝi vian planon: se recall@k sur via taksara aro estas malalta, via problemo estas supre (fragmentado, enkodaĵoj, ĉerpado) kaj neniu prompta inĝenierado riparios ĝin. Se rememorigo estas alta sed fidindeco estas malalta, via problemo estas malsupre (prompto, ordigo, absteniĝo, modelo). Lasu tiujn du nombrojn, ne intuicion, direkti vian penon.
Ĉu vi havas demandon aŭ sugeston, aŭ volas kompreni kiel ni esploras kaj reviziis ĉi tiujn gvidilojn? Legu pri niaj redakciaj normoj kaj kiel kontakti nin.
Oftaj demandoj
Kiel mi elektas fragmentograndecon?
Ne ekzistas universala respondo; ĝi dependas de viaj dokumentoj kaj demandoj. Pli malgrandaj fragmentoj pliigas precizecon sed riskas dividi respondojn kaj perdi kuntekston; pli grandaj fragmentoj konservas kuntekston sed diluas la enkodaĵon kaj malŝparas kuntekstfenestran buĝeton. Komencu per struktur-konscia dividado laŭ naturaj limoj, uzu 10 ĝis 20 procentojn da interkovro, kaj agordu grandecon kontraŭ recall@k sur via taksara aro anstataŭ diveni.
Densa, malabunda aŭ hibridĉerpado?
Hibridaj, en preskaŭ ĉiuj kazoj. Densa ĉerpado kaptas signifon kaj parafrazon; malabunda ĉerpado (BM25) precize kaptas ekzaktajn terminojn, kodojn, nomojn kaj maloftajn ĵetonojn. Iliaj fiaskomodoj estas komplementaj, do kunfandi ilin per Reciprocal Rank Fusion konstante superas ĉiun solan sur miksitaj korpusoj. Uzu nur-densan nur se viaj demandoj estas pure konceptaj kaj ne enhavas ekzaktajn identigajn.
Kiam rerangado meritas la latentecpagon?
Kiam unua-stadia ĉerpado redonas la ĝustajn fragmentojn sed en malĝusta ordo, aŭ kiam vi bezonas altan precizecon en malgranda fina kunteksto. Rulu malmultekosta ĉerpilo por ricevi larĝan kandidatan aron, poste krucan enkodilon por reordigi ĝin. Se via ĉerpilo jam rangigas la respondon unue, rerangilo aldonas koston por malgranda gajno, do mezuru antaŭ ol aldoni ĝin.
Kiel mi efektive taksas RAG-sistemon?
Konstruu oran aron de reprezentaj demandoj kun konataj respondoj kaj subtenantaj fragmentoj. Mezuru ĉerpadon aparte (recall@k, precizeco, MRR, nDCG) kaj generadon aparte (fidindeco, respondrelevanco, kunteksta precizeco kaj rememorigo). Kadroj kiel RAGAS aŭtomatigas la generadflankajn metrikojn. La du tavoloj kune permesas al vi lokalizi fiaskojn, kion okula taksado ne povas.
Ĉu longa kuntekstfenestro anstataŭas RAG?
Ne. Modeloj uzas la komencon kaj finon de longa kunteksto multe pli fidinde ol la mezon, do kvalito degradas eĉ kiam la respondo estas ĉeestanta, kaj vi pagas per ĵetono sur ĉiu voko. Longa kunteksto konvenas al rezonado super ununura ĉerpita dokumento; ĉerpado estas ankoraŭ kio decidas kiun dokumenton kaj kiujn fragmentojn meti en la fenestron.
Kio estas la diferenco inter duobla enkodilo kaj kruca enkodilo?
Duobla enkodilo enkodaĵas demandon kaj dokumenton aparte, kio permesas al vi indeksi dokumentojn anticipe kaj estas kio faras rapidan ĉerpadon ebla. Kruca enkodilo procesas demandon kaj dokumenton kune por multe pli preciza relevancpoento, sed devas ruli por ĉiu kandidato dum demandotempo, do ĝi estas tro malrapida por serĉi tutan korpuson. Ĉerpado uzas la duoblan enkodilon; rerangado uzas la krucan enkodilon.
Kiel mi traktu tabelojn kaj PDF-ojn?
Ne fidu naivan tekstoeltiradon, kiu linearizas kolumnojn kaj detruas tabelojn. Uzu aranĝ-konscia analizadon, eltiru tabelojn eksplicite kaj konvertu ilin al Markdown aŭ frazoformo, konservu titolojn kaj antaŭmetu ilin al infrafragmentoj kiel metadatenojn, kaj fragmentu laŭ dokumenta strukturo. Malĝusta analizado estas silenta fonto de ĉerpada fiasko, kiun neniu malsupra stadio povas ripari.
Kiel mi interŝanĝu rememorigon kontraŭ latentecpagon en la indekso?
Aproksimaj plej-proksimaj-najbaro-metodoj malkaŝas agordajn parametrojn: la grafgrado kaj serĉlarĝeco de HNSW, aŭ la nombro da IVF-aretoj esplorataj, altigas rememorigon je la kosto de demandotempo kaj memoro. Produkta kvantumigo reduktas memoron je iom da precizecperdo. Ne ekzistas universala agordo; mezuru rememorigon sur viaj propraj demandoj kontraŭ via latentecbuĝeto kaj agordu al la genuflekso de tiu kurbo.
Kiam mi uzu GraphRAG aŭ agentan RAG?
Uzu GraphRAG por globalaj "sencfaradaj" demandoj super tuta korpuso, kiujn ordinara vektora ĉerpado traktas malbone, akceptante ĝian pli altan konstruan kaj prizorgan koston. Uzu agentajn aŭ multi-saltajn ŝablonojn kiam respondoj postulas ĉenigi faktojn trans dokumentoj. Ambaŭ estas pravigitaj de la demandtipo, ne adoptitaj defaŭlte, kaj ambaŭ bezonas pli pezan instrumentadon ĉar ĉiu aldonita decidpunkto estas alia fiaskomodo.
Kiel mi malhelpu la sistemon citi forigitan aŭ malfreŝan enhavon?
Traktu la indekson kiel momentfoton, kiu devas esti sinkronigita kun ĝiaj fontoj. Konstruu dukton, kiu ĝisdatigas kaj, grave, forigas indeksajn enirojn kiam fontdokumentoj ŝanĝiĝas aŭ estas forigitaj; forigo ankaŭ portas konformecpezon laŭ rajto-esti-forgesita-devoj. Malfreŝaj citadoj estas freŝecfiasko, ne modelfiasko, kaj estas riparitaj en la eniga dukto.
Fontoj
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (NeurIPS (Advances in Neural Information Processing Systems 33)). The original RAG formulation; retrieve-then-generate architecture and end-to-end framing.
Dense Passage Retrieval for Open-Domain Question Answering (ACL Anthology (EMNLP 2020)). Dense dual-encoder retrieval and its measured 9 to 19 per cent absolute advantage over BM25.
Efficient and Robust Approximate Nearest Neighbor Search Using Hierarchical Navigable Small World Graphs (IEEE Transactions on Pattern Analysis and Machine Intelligence). HNSW approximate nearest neighbour indexing and recall-versus-latency behaviour.
Reciprocal Rank Fusion Outperforms Condorcet and Individual Rank Learning Methods (ACM SIGIR (Proceedings of the 32nd ACM SIGIR Conference)). Reciprocal Rank Fusion for hybrid retrieval fusion, including the k = 60 default.
Passage Re-ranking with BERT (arXiv (New York University)). Cross-encoder reranking and two-stage retrieve-then-rerank gains (MRR@10 35.8 on MS MARCO).
Lost in the Middle: How Language Models Use Long Contexts (Transactions of the Association for Computational Linguistics (MIT Press)). Positional degradation in long contexts; context-ordering guidance.
RAGAs: Automated Evaluation of Retrieval Augmented Generation (ACL Anthology (EACL 2024 System Demonstrations)). Reference-free RAG evaluation metrics (faithfulness, answer relevance, context relevance).
OWASP Top 10 for LLM Applications 2025 (LLM01 Prompt Injection; LLM08 Vector and Embedding Weaknesses) (OWASP Gen AI Security Project). RAG security failure modes: prompt injection, data poisoning, and vector/embedding weaknesses.