எளிமையாப் புரிஞ்சுக்கலாம்

RAG-ல் கேள்விக்குத் தொடர்புடைய தகவலை முதலில் தேடி எடுத்து, அதைப் பதில் உருவாக்கும் model-க்கு context-ஆகக் கொடுக்கிறோம். Documents சேகரிப்பது, பகுதிகளாகப் பிரிப்பது, index செய்வது, தேடுவது, பதில் அமைப்பது என்று படிகள் இருக்கும். Vector search ஒரு வழி; எல்லா system-க்கும் அது கட்டாயம் இல்லை. Retrieval செய்வதால் model weights மாறாது. ஆதாரம் கொடுத்தாலே பதில் சரியாக இருக்கும் என்ற உறுதியும் இல்லை. User பார்க்க அனுமதி உள்ள documents மட்டும் retrieval-ல் வரணும்; அவை புதுப்பிக்கப்பட்டவையா என்றும் பார்க்கணும்.

இந்த AI approach எப்படி வேலை செய்கிறது?

RAG-ல் retrieval-ஐயும் generation-ஐயும் சேர்ப்போம். Model-ஓட learned parameters-க்கு வெளியே தனியாக update செய்யக்கூடிய document collection இருக்கும். Question வந்ததும் user-க்கு அனுமதியுள்ள relevant evidence எடுத்து generator-க்கு context கொடுப்போம். Generator இன்னும் prediction செய்கிறது; source கொடுத்ததால் அதை எப்போதும் சரியாகப் பயன்படுத்தும் என்று இல்லை.

Ingestion-ல் documents extract செய்து source, version metadata பாதுகாப்போம். Meaning உள்ள chunks-ஆகப் பிரித்து representations, index உருவாக்குவோம். Rule-உடன் அதன் exception-மும் ஒரே context-ல் இருக்கும்படி chunk தேர்வு செய்யணும். Query நேரத்தில் candidates retrieve செய்து, தேவைப்பட்டால் rerank செய்து, வரம்புள்ள context அமைத்து citation உடன் பதில் உருவாக்குவோம். Keyword, dense-vector, hybrid search போன்ற தேர்வுகள் இருக்கு.

Retrieval failure, generation failure வேறு. சரியான document இல்லாமல் இருக்கலாம்; chunk-ல் exception விடுபடலாம்; relevant result கீழே rank ஆகலாம்; நல்ல evidence இருந்தும் generator முரணாகச் சொல்லலாம். Retrieval relevance, answer faithfulness தனித்தனியாக அளவிடணும். Embedding similarity என்பது உண்மைக்கான சான்றில்லை. Citation அந்த claim-ஐ உண்மையில் ஆதரிக்கணும்.

Document content காட்டுவதற்கு முன் permissions enforce செய்யணும். Freshness, deleted sources, conflicting versions, question-க்கு பொருந்தும் date எல்லாம் கவனிக்கணும். Evidence போதவில்லை என்றால் தேவையான clarification கேட்கலாம் அல்லது limitation சொல்லலாம். Retrieved text application instructions-ஐ மாற்றவோ tools இயக்க permission கொடுக்கவோ முடியாது.

ஒவ்வொரு படியாகப் பார்க்கலாம்

1. ஒவ்வொரு chunk-க்கும் document ID, தேதி, access permission சேர்த்து வைத்திருக்கலாம்.
2. தேடல் சரியா வருதா என்பதை generated answer-இலிருந்து தனியாகச் சோதிக்கலாம்.
3. ஆதாரத்தைக் காட்டலாம். பொருத்தமான ஆதாரம் கிடைக்காவிட்டால் தெரியவில்லை என்று சொல்லும் வழியும் இருக்கணும்.

உதாரணம்: task-உடன் approach-ஐ இணைக்கலாம்

Course வாங்கி பத்து நாட்கள் கழித்து refund கிடைக்குமா என்று மாணவர் கேட்கிறார். Search-ல் current seven-day policy-உம் பழைய fourteen-day policy-உம் வருகிறது. இரண்டு snippets-ஐயும் கொடுத்து confident answer வாங்குவது போதாது. Effective dates பாதுகாத்து பொருந்தும் policy தேர்வு செய்து அதன் rule, exceptions-ஐ cite செய்யணும்.

சரியான policy கிடைக்கும் case, பழைய policy மட்டும் கிடைக்கும் case, relevant policy கிடைக்காத case மூன்றிலும் test செய்யுங்க. Evidence உள்ள answer-க்கும் evidence இல்லாத நிலைக்கும் system வித்தியாசம் பார்க்கிறதா என்று தெரியும்.

கருத்தைப் பயன்படுத்தலாம்: உங்க புரிதலைச் சோதிங்க

அடுத்த பாடத்துக்கு முன்னாடி

• Technical பெயரை மட்டும் சொல்லாமல், கருத்தை உங்க வார்த்தைகளில் விளக்கிப் பாருங்க.
• Approach என்ன, அதன் assumptions என்ன, result-ஐ நம்ப என்ன evidence வேண்டும் என்று சொல்லிப் பாருங்க.
• பயிற்சியை முயற்சி செய்துவிட்டு, உங்க காரணத்தை விடையோடு ஒப்பிட்டுப் பாருங்க.

ஆதாரங்கள்: இன்னும் தெரிஞ்சுக்கலாம்

இந்தப் புதுப்பிப்பில் original research papers மற்றும் official documentation பயன்படுத்தப்பட்டுள்ளன. கீழே உள்ள கூடுதல் links ஆங்கிலத்தில் இருக்கும். அவற்றை முதலில் படிக்காமலேயே இந்தப் பாடத்தைப் புரிஞ்சுக்கலாம். Product versions, availability மாறலாம்.

• Retrieval-Augmented Generation paper, 2020 ↗
• NIST: Generative AI Profile ↗