AI: एआई से हिंदी में बात करके कहीं आप भी तो नहीं कर रहे यह गलती? रिसर्च में टोकन्स को लेकर हुआ बड़ा खुलासा

हाल ही में सामने आई एक रिसर्च ने इस सवाल का जवाब दिया है। शोध के अनुसार, AI मॉडल्स को हिंदी, अरबी और चीनी जैसी भाषाओं को समझने के लिए अंग्रेजी की तुलना में कहीं ज्यादा टोकन्स खर्च करने पड़ते हैं। रिसर्चर्स इसे ही लैंग्वेज टैक्स (Linguistic Tax) कह रहे हैं।

AI का लैंग्वेज टैक्स क्या होता है ?

• देखिए एआई मॉडल किसी भी टेक्स्ट को सीधे नहीं पढ़ते। वे पहले इसे शब्दों और वाक्यों को छोटे-छोटे हिस्सों में तोड़ते हैं, उसेटोकन्सकहा जाता है। वह जितने ज्यादा टोकन्स खर्च होंगे, AI को उतनी अधिक प्रोसेसिंग करनी पड़ेगी।

• इसका असर AI की लागत और काम करने की क्षमता दोनों पर पड़ता है। रिसर्च में पाया गया कि अंग्रेजी के मुकाबले दूसरी भाषाओं को प्रोसेस करने में एआई को अधिक टोकन्स की जरूरत पड़ती है। यही अतिरिक्त खर्च लैंग्वेज टैक्स है।

यह समस्या कैसे सामने आई ?

• ओपनएआई के रिसर्चर अरन कोमात्सुजाकी ने एक प्रयोग के दौरान यह जांचने की कोशिश की कि अलग-अलग भाषाओं को AI मॉडल किस तरह प्रोसेस करते हैं। उन्होंने एक ही लेख को कई भाषाओं में अनुवाद करवाया और फिर देखा कि विभिन्न एआई सिस्टम्स ने उसे समझने में कितने टोकन्स खर्च किए।
• इसका परिणाम काफी चौंकाने वाला है। सामने आया कि एआई को हिंदी समझने में ज्यादा मेहनत करनी पड़ती है। रिसर्च के अनुसार ओपनएआई के एआई मॉडल को हिंदी टेक्स्ट समझने के लिए अंग्रेजी की तुलना में लगभग 1.37 गुना ज्यादा टोकन्स की जरूरत पड़ी।
• वहीं, जब क्लाउड एआई के मामले में यह अंतर निकाला गया, तो उसे हिंदी समझने में अंग्रेजी के मुकाबले लगभग 3.24 गुना अधिक टोकन्स खर्च करने पड़े।
• इसी तरह अरबी भाषा के लिए 2.86 गुना ज्यादा टोकन्स खर्च हुए। चीनी भाषा के लिए 1.71 गुना ज्यादा टोकन्स की जरूरत पड़ी।
• यानी अगर कोई अंग्रेजी यूजर अपनी बात कहने में 100 टोकन्स खर्च करता है, तो वही बात हिंदी में समझाने के लिए क्लाउड एआई को 300 से अधिक टोकन्स तक खर्च करने पड़ सकते हैं।

आखिर ऐसा क्यों होता है?

• रिसर्चर ने इसकी वजह भी स्पष्ट की है। उनका कहना है कि इसकी सबसे बड़ी वजह AI मॉडल्स की ट्रेनिंग और टोकनाइजेशन सिस्टम है।
• ज्यादातर बड़े AI मॉडल्स को मुख्य रूप से अंग्रेजी भाषा के विशाल डेटा पर प्रशिक्षित किया गया है। इसलिए वे अंग्रेजी शब्दों और वाक्यों को ज्यादा कुशलता से छोटे हिस्सों में बांट सकते हैं।
• दूसरी ओर हिंदी, अरबी और चीनी जैसी भाषाओं की संरचना, लिपि और शब्द निर्माण की प्रक्रिया अलग होती है। ऐसे में एआई को इन्हें छोटे टोकन्स में विभाजित करने के लिए अतिरिक्त प्रोसेसिंग करनी पड़ती है।
• हालांकि इसका मतलब यह बिल्कुल नहीं है कि एआई हिंदी नहीं समझता।

क्या भविष्य में खत्म होगा यह लैंग्वेज टैक्स?

इसके लिए क्या करना होगा?

रिसर्चर्स का मानना यह भी मानना है कि एआई कंपनियों को अपने मॉडल्स को बहुभाषी डेटा पर बेहतर तरीके से प्रशिक्षित करना होगा। साथ ही ऐसे नए टोकनाइजेशन सिस्टम विकसित करने होंगे जो अंग्रेजी के अलावा अन्य भाषाओं को भी समान दक्षता से संभाल सकें।

यह AI इंडस्ट्री के लिए क्यों महत्वपूर्ण है?

• दुनिया की बड़ी आबादी अंग्रेजी के बजाय अपनी स्थानीय भाषाओं में एआई का उपयोग करना चाहती है और करती भी है।
• ऐसे में अगर गैर-अंग्रेजी भाषाओं के लिए AI को अधिक संसाधन खर्च करने पड़ेंगे, तो भविष्य में यह लागत और उपयोगकर्ता अनुभव दोनों को प्रभावित कर सकता है।
• यही वजह है कि विशेषज्ञ अब एआई कंपनियों से भाषा आधारित असमानताओं को कम करने और अधिक समावेशी मॉडल विकसित करने की मांग कर रहे हैं।