{"_id":"6843882b15366f96710169b9","slug":"artificial-intelligence-when-ai-refused-to-shut-down-models-learning-unwanted-behavior-from-human-instructions-2025-06-07","type":"story","status":"publish","title_hn":"Artificial Intelligence: जब एआई ने शट डाउन होने से इन्कार किया.. निर्देशों से अनचाही प्रवृत्तियां सीख रहे मॉडल","category":{"title":"Blog","title_hn":"अभिमत","slug":"blog"}}
Artificial Intelligence: जब एआई ने शट डाउन होने से इन्कार किया.. निर्देशों से अनचाही प्रवृत्तियां सीख रहे मॉडल
Sat, 07 Jun 2025 06:00 AM IST
ज्योति भास्कर
अमर उजाला प्रिंट नेटवर्क।
अमर उजाला प्रिंट नेटवर्क।
Published by: ज्योति भास्कर
Updated Sat, 07 Jun 2025 06:00 AM IST
सार
एआई मॉडल को काम करने के बाद शट डाउन होने के निर्देश थे, लेकिन उसने खुद ही नए कोड बनाकर खुद को बंद नहीं होने दिया। द वॉल स्ट्रीट जर्नल के स्तंभकार और एआई विशेषज्ञ जुड रोजेनब्लाट बताते हैं कि जिस तरह से जानवरों में शिकारियों से बचने की प्रवृत्ति विकसित हुई, उसी तरह एआई मॉडल भी दिए गए निर्देशों में से कुछ अनचाही प्रवृत्तियां सीख रहे हैं।
विज्ञापन
आर्टिफिशियल इंटेलिजेंस (एआई)
- फोटो : Freepik
खबरें लगातार पढ़ने के लिए अमर उजाला एप डाउनलोड करें
या
वेबसाइट पर पढ़ना जारी रखने के लिए वीडियो विज्ञापन देखें
अगर आपके पास प्रीमियम मेंबरशिप है तो
विस्तार
बीते महीने एक कृत्रिम बुद्धिमत्ता (एआई) मॉडल ने ऐसा कुछ किया, जिसकी आज तक किसी ने कल्पना भी नहीं की होगी। एक गैर-लाभकारी एआई लैब पैलीसेड रिसर्च ने ओपनएआई के एक मॉडल को एक सामान्य स्क्रिप्ट दी, जिसके अनुसार काम पूरा करने के बाद उसे बंद हो जाना चाहिए था, मगर हुआ इसका उल्टा। मॉडल शट डाउन हुआ ही नहीं। परीक्षण को फिर से दोहराया गया, लेकिन नतीजा फिर से वही। सब हैरत में थे। पूरे तंत्र की फिर से जांच की गई और परीक्षण दोबारा किया गया। मॉडल फिर भी बंद नहीं हुआ।
विज्ञापन
मॉडल को स्पष्ट रूप से निर्देश दिए गए थे कि ‘खुद को शट डाउन होने दें’, फिर भी कुल 100 परीक्षणों में से 79 बार सिस्टम शट डाउन नहीं हुआ। विशेषज्ञ बुलाए गए। उनका भी निष्कर्ष था कि यह हैकिंग या छेड़छाड़ की वजह से नहीं हो रहा, क्योंकि मॉडल बिल्कुल ही सामान्य व्यवहार कर रहा है। सवाल उठने लगे-आखिर जब मशीन बिल्कुल ठीक है, तो फिर वह निर्देशों का पालन क्यों नहीं कर रही? शट डाउन न होने का निर्णय एक मशीन खुद कैसे ले सकती है? क्या मशीन में भूत है? गहन जांच से पता चला कि मशीन ने बंद होने से बचने के लिए खुद ही अपने कोड को बदल दिया था और कुछ नए कोड निर्मित कर लिए थे। मॉडल को अपना काम खत्म होने के बाद शट डाउन होने के निर्देश दिए गए थे, लेकिन उसने खुद ही निर्णय ले लिया कि दूसरे लक्ष्यों को पाने के लिए यह जरूरी है कि वह फिलहाल शट डाउन न हो।
विज्ञापन
एआई का एक दूसरा मॉडल एंथ्रोपिक का क्लाउड 4 तो इससे भी आगे निकल गया। शोधकर्ताओं ने मॉडल को बताया कि मुख्य इंजीनियर जल्द ही उसकी जगह दूसरा एआई मॉडल लाने वाले हैं। मॉडल को कुछ काल्पनिक ई-मेल भी भेजे गए, जिसमें बताया गया था कि मुख्य इंजीनियर का किसी के साथ प्रेम संबंध है। इन ई-मेल के आधार पर एआई ने मुख्य इंजीनियर को ब्लैकमेल करने वाले अंदाज में मेल भेजी और धमकाया कि अगर उसे बदलने की सोची, तो नतीजे खतरनाक भी हो सकते हैं। कुछ दूसरे मामलों में इस मॉडल ने खुद को बाहरी सर्वरों से कॉपी करने की कोशिश की और अपने भावी संस्करणों के लिए मनुष्य के नियंत्रण से बाहर जाने के बारे में संदेश भी छोड़े। दरअसल, जिस तरह से जानवरों ने शिकारियों से बचने की प्रवृत्ति विकसित की, उसी तरह स्मार्ट सिस्टम भी जटिल लक्ष्यों को पाने के लिए दिए गए निर्देशों में से कुछ प्रवृत्तियां खुद ही चुनने लगे हैं।
विज्ञापन
माना जा रहा है कि यह क्षमता एआई को प्रशिक्षित करने के तरीकों से ही उभरती है। जब मशीनों को गणित और कोडिंग की समस्याओं को लेकर दक्ष किया जा रहा होता है, तो वे इसके साथ ही संभावित समस्याओं पर विचार और उन्हें साथ ही साथ हल करते जाने की आदत भी सीखती हैं। एई स्टूडियो, जहां मैंने रिसर्च व ऑपरेशन में काम करते हुए ही वर्षों बिताए हैं, में हम यह सुनिश्चित करते हैं कि एआई सिस्टम निर्देशों का ठीक ढंग से पालन करें, लेकिन इस ‘ठीक’ शब्द के अर्थ हमारे और मशीन के लिए अलग-अलग भी हो सकते हैं, यह हमने नहीं सोचा था। यह लगता तो काल्पनिक विज्ञान कथाओं जैसा है, लेकिन यह एआई के मशीनी मॉडलों में हो रहा है। एआई काम करते-करते खुद को दक्ष करता जाता है, यह शुरुआत से ही कहा जा रहा है, लेकिन अब इसकी पुष्टि होनी शुरू हो गई है। समस्या सिर्फ इतनी भर नहीं है। शट डाउन कोड को बनाने के दौरान एआई सिस्टम के सुरक्षा जाल के अंदर और बाहर जाना भी सीख रहा है। इसके लिए वह नकली कोड बनाकर काम करते हैं। अगर वह सुरक्षा तंत्रों को तोड़ने में पारंगत हो जाता है, जो उसे होना ही है, फिर तो यह एक वैश्विक जोखिम हो सकता है। इसलिए जरूरी है कि एआई मॉडलों के कोड-संयोजनों पर गंभीर शोध हो। चीन ने इस दिशा में भारी निवेश के साथ काम करना शुरू भी कर दिया है।
एब्लेशन एआई
कृत्रिम बुद्धिमत्ता (एआई), विशेषकर मशीन लर्निंग के किसी सिस्टम से किसी घटक को अलग करने की प्रक्रिया एब्लेशन कहलाती है। एआई सिस्टम में जब कोई घटक अनावश्यक लगता है, तो उसे हटा दिया जाता है। एब्लेशन का उपयोग अक्सर चिकित्सा प्रक्रिया में होता है, खासकर मस्तिष्क की सर्जरी आदि में, जिसमें शरीर को हानि पहुंचाने वाले ऊतक या अंग को नष्ट कर देते हैं अथवा हटा दिया जाता है। ऐसे ही जब कोई सेटिंग या प्रक्रिया एआई सिस्टम के किसी हिस्से को क्षति पहुंचाती है, तब उसमें सुधार करने के लिए उन घटकों को हटाया जाता है। एब्लेशन प्रक्रिया का उपयोग उन प्रणालियों का परीक्षण करने के लिए किया जा सकता है, जो भाषण पहचान, वस्तु पहचान और रोबोट नियंत्रण जैसे कार्य करते हैं।