எளிமையாப் புரிஞ்சுக்கலாம்

Supervised Learning-ல் input-உடன் சரியான பதிலும் இருக்கும். அந்தப் பதிலை labelன்னு சொல்றோம். Category சொல்லணும்னா classification; ஒரு number கணிக்கணும்னா regression. Label எதைக் குறிக்குது என்பதில் தெளிவு வேண்டும். ஒரே பொருளோ ஒரே நபரோ சேர்ந்த பதிவுகள் train, test இரண்டிலும் கலந்து வந்தால் result உண்மையைவிட நல்லா தெரிந்துவிடலாம்.

இந்த AI approach எப்படி வேலை செய்கிறது?

Supervised learning-ல input-க்கும் சரியான target-க்கும் pairs கொடுத்து கற்றுக்கொள்ள வைப்போம். Target நம்ம செய்ய வேண்டிய decision-க்கு பொருந்தணும். “Customer complaint கொடுத்தார்” என்பதும் “Product defect இருக்கு” என்பதும் ஒரே label இல்லை. பழைய process-ல இருந்த தவறு அல்லது label போடுபவர்களின் inconsistent judgment data-வில் இருந்தால், model அதையும் நன்றாகக் கற்றுக்கொள்ளலாம்.

Classification-ல் category அல்லது category scores கிடைக்கும். Regression-ல் ஒரு numeric value கணிப்போம். Logistic regression, decision tree, random forest, gradient boosting, nearest neighbors, neural network போன்ற பல model families இருக்கு. Score வந்துவிட்டதால் அது சரியான probability என்று எடுத்துக்கொள்ள முடியாது. Positive case-ஐ தவறவிடுவதற்கும் தவறாக alert கொடுப்பதற்கும் உள்ள செலவைப் பார்த்து threshold தேர்வு செய்யணும்.

Labels-ஐ தெளிவாக வரையறுத்து examples சரிபார்த்து, பொருத்தமாக split செய்யுங்க. Training data-வில் preprocessing, model fit செய்யுங்க. Validation-ல் choices முடிவு செய்து, final held-out data-வில் report செய்யுங்க. Label proportions-க்கு stratification உதவலாம். ஒரே customer-ஓட records அல்லது time dependency இருந்தால் group அல்லது time split தேவைப்படலாம். புதிதாக வரும் cases-ஐ test உண்மையில் பிரதிபலிக்கணும்.

ஒரே accuracy number-உடன் நிறுத்தாதீங்க. Support classifier-ல் English, Tamil, mixed messages, அரிதான categories எல்லாவற்றிலும் என்ன தவறு வருகிறது என்று பாருங்க. தெளிவில்லாத request-ஐ review-க்கு அனுப்பும் வழியும் இருக்கணும். எந்த message வந்தாலும் இருக்கும் category-க்குள் வலுக்கட்டாயமாகப் போட வேண்டியதில்லை.

ஒவ்வொரு படியாகப் பார்க்கலாம்

1. Labels ஒரே விதமாக உள்ளதா என்று சில பதிவுகளை நீங்களே சரிபாருங்க.
2. Training, validation, final test—ஒவ்வொன்றுக்கும் தனி வேலை இருக்கட்டும்.
3. வேறு வேறு குழுக்களில் வரும் தவறுகளைப் பார்த்து, வேலைக்கேற்ற metrics தேர்வு பண்ணுங்க.

உதாரணம்: task-உடன் approach-ஐ இணைக்கலாம்

Course messages-ஐ access, payment, lesson question என்று route செய்யணும் என்று வைத்துக்கலாம். Written guidelines வைத்து representative sample-க்கு labels போடுங்க. ஒரே conversation messages எல்லாம் ஒரே split-ல் இருக்கட்டும். அதிகமாக வரும் category-ஐ மட்டும் சொல்லும் baseline-உடன் text classifier-ஐ ஒப்பிட்டு confusion matrix பாருங்க.

தமிழ் payment messages அடிக்கடி access support-க்கு போனால் tokenization, training examples, label consistency எல்லாம் பாருங்க. உடனே பெரிய model-க்கு மாறுவதற்குப் பதிலாக, அந்தத் தவறு ஏன் வருகிறது என்பதைக் கண்டுபிடிக்கணும்.

Algorithm பயிற்சி: கணிச்சு, மாற்றி, விளக்கலாம்

ஒரு measured feature வைத்து one-nearest-neighbor classifier size label கணிக்கும். நான்கு examples inference விளக்கத்துக்கு மட்டும்; fruit recognition நிரூபிக்காது. Query 170-ஐ 90-ஆக மாற்றுவதற்கு முன் label கணிச்சுப் பாருங்க.

samples = [(80, "small"), (100, "small"), (180, "large"), (200, "large")]
query = 170
nearest = min(samples, key=lambda row: abs(row[0] - query))
print("prediction:", nearest[1])

prediction: large

ஒரு விஷயத்தை மாற்றி இயக்கிப் பாருங்க.

இந்தப் பயிற்சிக்கு standard Python போதும். Package install அல்லது paid API தேவையில்லை. மேலே சொன்ன variable-ஐ மாற்றி, method-ல் என்ன விளைவு வருகிறது என்று விளக்கிப் பாருங்க. பிறகுதான் real data-க்கு எடுத்துச் செல்லலாம்.

Editor முழுவதும் load ஆனதும் code-ஐ ஏற்றி Run அழுத்துங்க.

இந்த இலவச editor, OneCompiler என்ற வெளிப்புறச் சேவையைப் பயன்படுத்தும். Run செய்யும் code அங்கு அனுப்பப்படும். Passwords, API keys, மாணவர்களின் private data போன்றவற்றைப் போடாதீங்க. Code வரவில்லை என்றால் editor தயாரானதும் மறுபடியும் ஏற்றுங்க.

கருத்தைப் பயன்படுத்தலாம்: உங்க புரிதலைச் சோதிங்க

அடுத்த பாடத்துக்கு முன்னாடி

• Technical பெயரை மட்டும் சொல்லாமல், கருத்தை உங்க வார்த்தைகளில் விளக்கிப் பாருங்க.
• Approach என்ன, அதன் assumptions என்ன, result-ஐ நம்ப என்ன evidence வேண்டும் என்று சொல்லிப் பாருங்க.
• பயிற்சியை முயற்சி செய்துவிட்டு, உங்க காரணத்தை விடையோடு ஒப்பிட்டுப் பாருங்க.

ஆதாரங்கள்: இன்னும் தெரிஞ்சுக்கலாம்

இந்தப் புதுப்பிப்பில் original research papers மற்றும் official documentation பயன்படுத்தப்பட்டுள்ளன. கீழே உள்ள கூடுதல் links ஆங்கிலத்தில் இருக்கும். அவற்றை முதலில் படிக்காமலேயே இந்தப் பாடத்தைப் புரிஞ்சுக்கலாம். Product versions, availability மாறலாம்.

• scikit-learn: supervised learning ↗
• scikit-learn: common pitfalls and leakage ↗