ஹனூமன் (Hanooman) என்பது இந்தி, தமிழ் மற்றும் மராத்தி போன்ற 11 இந்திய மொழிகளில் தொடர்பு கொள்ளக்கூடிய பெரிய மொழி மாதிரிகளின் (large language models LLMs)) தொகுப்பாகும்.
இந்திய தொழில்நுட்பக் கழகம் பம்பாய் (Indian Institutes Of Technology (IIT Bombay) மற்றும் ஏழு சிறந்த இந்திய பொறியியல் கல்லூரிகள் தலைமையிலான
பாரத் ஜிபிடி (Bharat GPT) குழு , அடுத்த மாதம் தங்கள் முதல் ChatGPT போன்ற சேவையைத் தொடங்குவதற்கான திட்டங்களை வெளிப்படுத்தியது. ரிலையன்ஸ் இண்டஸ்ட்ரீஸ் லிமிடெட் (Reliance Industries Ltd) மற்றும் அறிவியல் மற்றும் தொழில்நுட்பத் துறையின் (Department of Science and Technology) ஆதரவுடன், அவர்கள் சீதா மஹாலக்ஷ்மி ஹெல்த்கேர் (Seetha Mahalaxmi Healthcare SML). உடன் இணைந்து இந்திய மொழி மாதிரிகளின் ஹனூமன் (Hanooman) தொடரை உருவாக்கினர்.
ஹனூமன் என்றால் என்ன?
ஹனுமான் என்பது இந்தி, தமிழ் மற்றும் மராத்தி போன்ற 11 இந்திய மொழிகளில் தொடர்பு கொள்ளக்கூடிய பெரிய மொழி மாதிரிகள் (large language models LLMs)) தொகுப்பாகும், மேலும் 20 க்கும் மேற்பட்ட மொழிகளைச் சேர்க்க திட்டமிட்டுள்ளது. ப்ளூம்பெர்க் அறிக்கையின்படி (Bloomberg report), பாரத்ஜிபிடி குழு செவ்வாய்க்கிழமை ஒரு வீடியோவில் பல்வேறு மொழிகளில் செயற்கை நுண்ணறிவு (AI) கருவியுடன் மக்கள் தொடர்பு கொள்வதை நிரூபித்தது.
ஹனூமன் (Hanooman), சுகாதாரம், நிர்வாகம், நிதி சேவைகள் மற்றும் கல்வி ஆகிய நான்கு பகுதிகளில் பணியாற்ற வடிவமைக்கப்பட்டுள்ளது:
இது ஒரு சாட்பாட் (chatbot) மட்டுமல்ல; இது ஒரு பலதரப்பட்ட செயற்கை நுண்ணறிவு (a multimodal AI tool) கருவியாகும், இது பல இந்திய மொழிகளில் உரை, பேச்சு, வீடியோக்கள் மற்றும் பலவற்றை உருவாக்க முடியும் என்று பாரத் ஜிபிடி (BharatGPT) தெரிவித்துள்ளது. ஒரு தனிப்பயனாக்கப்பட்ட பதிப்பு VizzhyGPT ஆகும், இது விரிவான மருத்துவத் தரவைப் பயன்படுத்தி சுகாதாரத்திற்காக வடிவமைக்கப்பட்டுள்ளது.
இந்த செயற்கை நுண்ணறிவு (AI) மாடல்களின் அளவு 1.5 கோடி முதல் 40 கோடி அளவுருக்கள் வரை இருக்கும்.
ஹனுமான் (Hanooman) வெளியீட்டின் போது, எஸ்.எம்.எல் நிறுவனர் விஷ்ணு வர்தன், இந்திய மொழிகளில் தரவுத் தொகுப்புகளின் தரத்தால் ஏற்படும் சவால்களை குறிப்பிட்டார். செயற்கையான தரவுத் தொகுப்புகளின் பரவலான பயன்பாட்டை அவர் சுட்டிக்காட்டினார், அவை உண்மையான உலக நிகழ்வுகளை அடிப்படையாகக் கொண்டதற்கு பதிலாக செயற்கையாக உருவாக்கப்படுகின்றன. மொழிபெயர்ப்புகளை இவ்வாறு நம்பியிருப்பது தவறுகள் அல்லது திரிபுகளுக்கு வழிவகுக்கும் என்று ஏஎன்ஐ செய்தி (ANI news agency) நிறுவனத்தின் அறிக்கை தெரிவிக்கிறது.
வேறு ஏதேனும் இந்திய மொழி மாதிரிகள் உள்ளனவா?
பாரத் ஜிபிடி (BharatGPT) தவிர, சர்வம் (Sarvam) மற்றும் க்ருட்ரிம் (Krutrim) போன்ற பல ஸ்டார்ட்அப்களும் இந்தியாவுக்காக வடிவமைக்கப்பட்ட செயற்கை நுண்ணறிவு மாடல்களை உருவாக்கி வருகின்றன. லைட்ஸ்பீட் வென்ச்சர் பார்ட்னர்ஸ் மற்றும் பில்லியனர் வினோத் கோஸ்லாவின் நிதி (Lightspeed Venture Partners and billionaire Vinod Khosla’s fund) போன்ற குறிப்பிடத்தக்க துணிகர மூலதன முதலீட்டாளர்களால் அவை ஆதரிக்கப்படுகின்றன என்று ப்ளூம்பெர்க் தெரிவித்துள்ளது.
பெரிய மொழி மாதிரிகள் (Large language models (LLM)) கள் என்றால் என்ன?
பெரிய மொழி மாதிரிகள் (LLM) விரிவான உரை (text) வடிவிலான தரவை கையாள ஆழமான கற்றல் முறைகளைப் பயன்படுத்துகின்றன. அவை பெரிய அளவிலான உரையை பகுப்பாய்வு செய்வதன் மூலமும், அதன் கட்டமைப்பு மற்றும் முக்கியத்துவத்தை புரிந்துகொள்வதன் மூலமும் மற்றும் அதிலிருந்து கற்றுக்கொள்வதன் மூலமும் செயல்படுகின்றன. சொற்களுக்கிடையேயான அர்த்தங்களையும் தொடர்புகளையும் அடையாளம் காண பெரிய மொழி மாதிரிகள் பயிற்றுவிக்கப்படுகின்றன. ஒரு மாதிரியின் பயிற்சித் தரவின் அளவு எவ்வளவு அதிகமாக கொடுக்கப்படுகிறதோ, அந்த அளவுக்கு உரையைப் புரிந்துகொள்வதற்கும் தயாரிப்பதற்கும் சிறந்ததாக இருக்கும்.
பொதுவாக, பயிற்சி தரவு (training data) விக்கிபீடியா, ஓபன்வெப்டெக்ஸ்ட் (OpenWebText) மற்றும் காமன் கிரால் கார்பஸ் (Common Crawl Corpus) போன்ற தரவுத்தொகுப்புகளைக் கொண்டுள்ளது. இந்த தரவுத்தொகுப்புகளில் ஏராளமான தரவுகள் உள்ளன. அவை உருவாக்கும் இயற்கை மொழியைப் (generate natural language) புரிந்துகொள்வதற்கும் உருவாக்குவதற்குமான மாதிரியைப் பயன்படுத்துகின்றன.