எளிமையாப் புரிஞ்சுக்கலாம்

Evaluation ஆரம்பிக்கும்போது எந்த வேலை, அதை பிரதிபலிக்கும் test examples, எது தவறு என்ற வரையறை தேவை. Classification-ல் accuracy மட்டும் போதாமல் precision, recall தேவைப்படலாம். Generative system-ல் ஆதாரம், பொருத்தம், வேலை முடிந்ததா, முக்கியமான failure வந்ததா என்றும் பார்க்கணும். இன்னொரு LLM-ஐ judge-ஆகப் பயன்படுத்தலாம். ஆனால் அதன் முடிவையும் மனிதர் review-உடன் ஒப்பிட்டு bias இருக்கா என்று பார்க்கணும். Judge சொன்னதெல்லாம் கடைசி உண்மை இல்லை.

இந்த AI approach எப்படி வேலை செய்கிறது?

Evaluation-ல் ஒரு claim-ஐ test செய்யக்கூடிய கேள்வியாக மாற்றுவோம். Task, users, allowed inputs, desired outputs, முக்கியமான தவறுகள் என்ன என்று முதலில் முடிவு செய்யணும். பிறகுதான் metric தேர்வு. Development examples, final held-out evaluation தனியாக இருக்கணும். Regression test set நிலையாக இருக்கட்டும். புதிய failures சேர்க்கலாம்; ஆனால் final test-ஐ தெரியாமல் tuning set-ஆக மாற்றக்கூடாது.

Classification-ல் accuracy எல்லா சரியான predictions-ஐ எண்ணும். Precision = TP/(TP+FP): positive என்று சொன்னதில் எவ்வளவு சரி? Recall = TP/(TP+FN): உண்மையான positives-ல் எவ்வளவு கண்டுபிடித்தோம்? F1 இரண்டையும் சேர்க்கும். இருந்தாலும் error costs, subgroup differences மறையலாம். Threshold மாற்றினால் trade-off மாறும். Regression-ல் absolute, squared errors தவறுகளுக்கு வேறுவித weight தரும். பொருத்தமான baseline-உடன் ஒப்பிடணும்.

Generative answers-க்கு rubric தேவை: correctness, evidence support, relevance, completeness, instruction adherence, uncertainty handling. RAG-ல் retrieval, answer faithfulness தனியாகப் பாருங்க. Agents-ல் final message மட்டுமில்லாமல் உண்மையான task state, side effects சரிபார்க்கணும். LLM judge review அளவை அதிகரிக்க உதவலாம். ஆனால் human judgments-உடன் calibrate செய்து order, style, language bias சோதிக்கணும்.

எத்தனை examples-ல் test செய்தோம், என்ன coverage, uncertainty என்ன என்று report செய்யுங்க. பத்து easy questions result வலுவான முழு evidence இல்லை. English, Tamil, mixed inputs, rare intents, missing evidence, tool failures தனியாகப் பாருங்க. Offline tests-உடன் deployment evidence சேர்க்கணும். எந்த score-மும் நிரந்தர quality certificate இல்லை.

ஒவ்வொரு படியாகப் பார்க்கலாம்

1. வழக்கமான, கடினமான, தமிழ், mixed-language examples சேர்க்கலாம்.
2. Systems-ஐ ஒப்பிடுவதற்கு முன் metrics மற்றும் thresholds தேர்வு செய்யலாம்.
3. ஒவ்வொரு failure-ஐயும் பார்த்து, மாற்றம் செய்தபின் regression test set-ல் மீண்டும் சோதிக்கலாம்.

உதாரணம்: task-உடன் approach-ஐ இணைக்கலாம்

Payment classifier-ல் TP = 8, FP = 2, FN = 4 என்றால் precision 8/10 = 0.80. Recall 8/12, சுமார் 0.667. Decision threshold உயர்த்தினால் false alarms குறையலாம்; ஆனால் உண்மையான payment cases மேலும் தவறலாம். Support process தேவையை வைத்து தேர்வு செய்து held-out examples-ல் validate செய்யணும்.

Policy assistant-க்கு source-ல் answer உள்ள questions, answer இல்லாத questions, conflicting policies சேர்க்கலாம். Citation claim-ஐ ஆதரிக்கிறதா என்று review செய்யணும். Access-restoration agent-க்கு action-க்குப் பிறகு account state-ஐச் சரிபார்க்கணும்.

Algorithm பயிற்சி: கணிச்சு, மாற்றி, விளக்கலாம்

Synthetic counts வைத்து precision, recall கணக்கிடுகிறோம். மற்ற counts மாறாமல் false negatives அதிகப்படுத்தி எந்த metric மாறுகிறது என்று பாருங்க. இது metric calculation; trained classifier இல்லை.

tp, fp, fn = 8, 2, 4
precision = tp / (tp + fp)
recall = tp / (tp + fn)
print("precision:", round(precision, 2))
print("recall:", round(recall, 2))

precision: 0.8
recall: 0.67

ஒரு விஷயத்தை மாற்றி இயக்கிப் பாருங்க.

இந்தப் பயிற்சிக்கு standard Python போதும். Package install அல்லது paid API தேவையில்லை. மேலே சொன்ன variable-ஐ மாற்றி, method-ல் என்ன விளைவு வருகிறது என்று விளக்கிப் பாருங்க. பிறகுதான் real data-க்கு எடுத்துச் செல்லலாம்.

Editor முழுவதும் load ஆனதும் code-ஐ ஏற்றி Run அழுத்துங்க.

இந்த இலவச editor, OneCompiler என்ற வெளிப்புறச் சேவையைப் பயன்படுத்தும். Run செய்யும் code அங்கு அனுப்பப்படும். Passwords, API keys, மாணவர்களின் private data போன்றவற்றைப் போடாதீங்க. Code வரவில்லை என்றால் editor தயாரானதும் மறுபடியும் ஏற்றுங்க.

கருத்தைப் பயன்படுத்தலாம்: உங்க புரிதலைச் சோதிங்க

அடுத்த பாடத்துக்கு முன்னாடி

• Technical பெயரை மட்டும் சொல்லாமல், கருத்தை உங்க வார்த்தைகளில் விளக்கிப் பாருங்க.
• Approach என்ன, அதன் assumptions என்ன, result-ஐ நம்ப என்ன evidence வேண்டும் என்று சொல்லிப் பாருங்க.
• பயிற்சியை முயற்சி செய்துவிட்டு, உங்க காரணத்தை விடையோடு ஒப்பிட்டுப் பாருங்க.

ஆதாரங்கள்: இன்னும் தெரிஞ்சுக்கலாம்

இந்தப் புதுப்பிப்பில் original research papers மற்றும் official documentation பயன்படுத்தப்பட்டுள்ளன. கீழே உள்ள கூடுதல் links ஆங்கிலத்தில் இருக்கும். அவற்றை முதலில் படிக்காமலேயே இந்தப் பாடத்தைப் புரிஞ்சுக்கலாம். Product versions, availability மாறலாம்.

• scikit-learn: model evaluation ↗
• NIST: Generative AI Profile ↗