எளிமையாப் புரிஞ்சுக்கலாம்

NLP-ல் text category கண்டுபிடிப்பது, தேடுவது, மொழிபெயர்ப்பது, தகவலைப் பிரித்தெடுப்பது, பேச்சை எழுத்தாக்குவது போன்ற வேலைகள் இருக்கும். Rules, statistical models, neural models—தேவைக்கு ஏற்ப சேர்த்தும் பயன்படுத்தலாம். தமிழில் spelling மாறலாம்; தமிழ்–English கலந்திருக்கலாம்; வட்டார வழக்கு இருக்கும்; பேசுவது வேறு, எழுத்து நடை வேறு. அதனால் நிஜ உதாரணங்களில் சோதிக்கணும். ஒரு குறிப்பிட்ட model-ஓட token IDs என்று நாமே கற்பனையாக numbers கொடுக்கக் கூடாது.

இந்த AI approach எப்படி வேலை செய்கிறது?

NLP என்பது மொழி தொடர்பான வேலைகளை computer மூலம் செய்வதைப் பற்றிய துறை. Classification, retrieval, information extraction, translation, summary, question answering போன்றவை இதில் வரும். Speech recognition audio-வை text-ஆக மாற்றும்; அந்த transcript-ஐப் பிறகு NLP process செய்யலாம். Rules, statistical models, neural models, LLM applications எல்லாவற்றுக்கும் NLP-ல் இடம் இருக்கு.

Text-ஐ எப்படி represent செய்கிறோம் என்பது learning-ஐ பாதிக்கும். Bag-of-words, TF-IDF terms-ஐ வைத்து features உருவாக்கும்; word order குறைவாக இருந்தாலும் நல்ல baseline ஆகலாம். Embeddings related usage-ஐ numerical representation-ல் காட்ட உதவும். Contextual encoder-ல் சுற்றியுள்ள text-ஐப் பொறுத்து token representation மாறும். Generative model output sequence predict செய்யும். எல்லா language task-க்கும் generation தேவைப்படாது.

தமிழுக்கு சில நடைமுறை சிக்கல்கள் இருக்கு. எழுதும் தமிழ், பேசும் தமிழ் வேறுபடும். Suffixes grammatical meaning தரும். Spelling, spacing, dialect, transliteration, English mix எல்லாம் மாறலாம். Space வைத்து பிரித்த pieces, linguistic words, model tokens மூன்றும் ஒன்றல்ல. Unicode normalization consistency-க்கு உதவலாம்; ஆனால் அளவுக்கு மீறிய cleaning முக்கிய அர்த்தத்தை நீக்கலாம். மாற்றத்தின் விளைவைச் சோதிக்கணும்.

நிஜமாக users எழுதும் மாதிரியே test set இருக்கணும். தமிழ் script, Tanglish, mixed sentences, சின்ன ambiguous requests, domain terms சேர்க்கணும். Extraction-க்கு fields, match rules தெளிவாக இருக்கணும். Translation, summary-க்கு automated metrics-உடன் மனித review-மும் தேவை. English-ல் நல்ல result வந்தால் தமிழிலும் அதே தரம் என்று சொல்ல முடியாது.

ஒவ்வொரு படியாகப் பார்க்கலாம்

1. என்ன வேலை என்று தெளிவாக்கி, preprocessing செய்யும்போது அர்த்தம் மாறாமல் பார்த்துக்கோங்க.
2. பேச்சுவழக்குத் தமிழ், mixed-language inputs ஆகியவற்றைத் தனியாகச் சோதிங்க.
3. இல்லை போன்ற மறுப்பு வார்த்தை, context, spelling மாறும்போது அர்த்தம் எப்படி மாறுது என்று பாருங்க.

உதாரணம்: task-உடன் approach-ஐ இணைக்கலாம்

“எனக்கு course access வரல”, “course open aagala”, “I cannot access the course” மூன்றும் ஒரே intent-ஐக் குறிக்கலாம். Formal English மட்டும் வைத்து train செய்த system முதல் இரண்டையும் தவறவிடலாம். இவற்றை evaluation-ல் தனி language slice-ஆகப் பாருங்க. ஒரே source-ஓட paraphrases train, test-ல் கலந்து leakage வராமல் பார்த்துக்கணும்.

Order ID எடுக்க வேண்டுமென்றால் validated pattern நல்ல தீர்வாக இருக்கலாம். நுணுக்கமான request-ஐப் புரிந்துகொள்ள learned language model உதவலாம். Output தேவைக்கேற்ப முறைகளைச் சேர்த்துப் பயன்படுத்தலாம்.

கருத்தைப் பயன்படுத்தலாம்: உங்க புரிதலைச் சோதிங்க

அடுத்த பாடத்துக்கு முன்னாடி

• Technical பெயரை மட்டும் சொல்லாமல், கருத்தை உங்க வார்த்தைகளில் விளக்கிப் பாருங்க.
• Approach என்ன, அதன் assumptions என்ன, result-ஐ நம்ப என்ன evidence வேண்டும் என்று சொல்லிப் பாருங்க.
• பயிற்சியை முயற்சி செய்துவிட்டு, உங்க காரணத்தை விடையோடு ஒப்பிட்டுப் பாருங்க.

ஆதாரங்கள்: இன்னும் தெரிஞ்சுக்கலாம்

இந்தப் புதுப்பிப்பில் original research papers மற்றும் official documentation பயன்படுத்தப்பட்டுள்ளன. கீழே உள்ள கூடுதல் links ஆங்கிலத்தில் இருக்கும். அவற்றை முதலில் படிக்காமலேயே இந்தப் பாடத்தைப் புரிஞ்சுக்கலாம். Product versions, availability மாறலாம்.

• Hugging Face: LLM course ↗
• Hugging Face: how Transformers work ↗