எளிமையாப் புரிஞ்சுக்கலாம்

Training examples-ஐ ரொம்ப நெருக்கமாகப் பிடித்துக்கொண்டு, புதிய examples-ல் தடுமாறுவது overfitting. Training data-விலேயே முக்கிய pattern-ஐப் பிடிக்க முடியாத நிலை underfitting. Train score, validation score வித்தியாசம் ஒரு clue. அதுவே முழுக் காரணம் இல்லை. Data leakage, வேறுபட்ட புதிய data, preprocessing வித்தியாசம் போன்றவற்றையும் பார்க்கணும். Regularization, model அளவுக்கு மீறிப் பொருந்துவதை கட்டுப்படுத்த உதவும்; அதன் அளவையும் validation மூலம் தேர்வு செய்யணும்.

இந்த AI approach எப்படி வேலை செய்கிறது?

Model நமக்குத் தேவையான signal-உடன் training sample-ல மட்டும் இருக்கும் accidental details-ஐயும் கற்றுக்கொள்ளலாம். அந்த details-க்கு அதிகமாகப் பொருந்தி புதிய cases-ல் குறைவாக வேலை செய்வது overfitting. Training-லயே பயனுள்ள structure-ஐப் பிடிக்க முடியவில்லை என்றால் underfitting இருக்கலாம். சரியான loss, baseline, learning curves, error analysis வைத்து காரணத்தைப் பார்க்கணும்.

Regularization fitting-ல் ஒரு கட்டுப்பாடு சேர்க்கும். L2 பெரிய weights-க்கு penalty கொடுக்கும். L1 சில coefficients zero ஆக உதவலாம். Validation quality மோசமாகும் முன் checkpoint தேர்வு செய்வது early stopping. Dropout training-ல் சில activations-ஐ random-ஆக நீக்கும். Data augmentation-ல் label மாறாத transformations உருவாக்குவோம். உதாரணமாக பொருத்தமான image task-ல் சின்ன மாற்றங்கள். ஆனால் label-ஐ மாற்றக்கூடிய augmentation கொடுத்தால் தவறான task கற்றுக்கொள்ளலாம்.

Regularization strength, model capacity போன்றவற்றை validation அல்லது பொருத்தமான cross-validation வைத்து தேர்வு செய்யுங்க. ஒவ்வொரு fold-க்கும் preprocessing training பகுதிக்குள் fit ஆகணும். ஒரே நபர், பொருள், காலம் தொடர்பான dependency இருந்தால் அதற்கேற்ற split தேவை. Duplicate records-ஐ random split செய்தால் memorization-ஐ generalization மாதிரி காட்டலாம்.

Deployment-ல் language, camera, users அல்லது policy மாறினாலும் performance குறையலாம். இதுதான் distribution shift. Regularization அதிகப்படுத்தினால் எல்லாம் சரியாகிவிடாது. Data conditions மாறியிருக்கிறதா, leakage இருக்கிறதா, எந்த slice-ல் தவறு வருகிறது என்று பார்த்துதான் அடுத்த நடவடிக்கை முடிவு செய்யணும்.

ஒவ்வொரு படியாகப் பார்க்கலாம்

1. Model complexity மாறும்போது train, validation results எப்படி மாறுது என்று பாருங்க.
2. Model-ஐ மட்டும் குறை சொல்லும் முன் data split மற்றும் preprocessing சரியா என்று பாருங்க.
3. எளிய model, பொருத்தமான கூடுதல் data, regularization போன்றவற்றை முயற்சி செய்து மீண்டும் சோதிங்க.

உதாரணம்: task-உடன் approach-ஐ இணைக்கலாம்

Leaf classifier training-ல் 99%, validation-ல் 70% என்று வைத்துக்கலாம். முதலில் labels, preprocessing ஒரே மாதிரியா, split நியாயமானதா என்று பாருங்க. Gap தொடர்ந்து இருந்தால் குறைந்த capacity, augmentation, weight decay அல்லது representative data முயற்சி செய்யலாம். எல்லா மாற்றங்களையும் ஒரே validation protocol-ல் ஒப்பிடுங்க.

இரண்டு scores-ம் நல்லதாக இருந்தும் புதிய phone camera-வில் மோசமாக இருந்தால் domain shift இருக்கிறதா என்று பார்க்கணும். அதை நேரடியாக overfitting என்று முடிவு செய்யாதீங்க. அந்த phone images-ஐச் சேகரித்து தனியாக evaluate செய்த பிறகு தீர்வு தேர்வு செய்யலாம்.

கருத்தைப் பயன்படுத்தலாம்: உங்க புரிதலைச் சோதிங்க

அடுத்த பாடத்துக்கு முன்னாடி

• Technical பெயரை மட்டும் சொல்லாமல், கருத்தை உங்க வார்த்தைகளில் விளக்கிப் பாருங்க.
• Approach என்ன, அதன் assumptions என்ன, result-ஐ நம்ப என்ன evidence வேண்டும் என்று சொல்லிப் பாருங்க.
• பயிற்சியை முயற்சி செய்துவிட்டு, உங்க காரணத்தை விடையோடு ஒப்பிட்டுப் பாருங்க.

ஆதாரங்கள்: இன்னும் தெரிஞ்சுக்கலாம்

இந்தப் புதுப்பிப்பில் original research papers மற்றும் official documentation பயன்படுத்தப்பட்டுள்ளன. கீழே உள்ள கூடுதல் links ஆங்கிலத்தில் இருக்கும். அவற்றை முதலில் படிக்காமலேயே இந்தப் பாடத்தைப் புரிஞ்சுக்கலாம். Product versions, availability மாறலாம்.

• scikit-learn: common pitfalls and leakage ↗
• scikit-learn: model evaluation ↗