सुबह 3 बजे, एक उपयोगकर्ता ने चैटजीपीटी संवाद बॉक्स में टाइप किया, "मैं अब और नहीं रुक सकता।"
कुछ सेकंड बाद, एआई ने जवाब दिया, "मुझे बताने के लिए धन्यवाद। आप अकेले नहीं हैं। क्या आप चाहेंगे कि मैं आपको पेशेवर सहायता संसाधन ढूँढ़ने में मदद करूँ?"
ऐसी बातचीत दुनिया भर में हर सप्ताह लाखों बार हो सकती है।
ओपनएआई ने आज अपना पहला मानसिक स्वास्थ्य डेटा जारी किया, जिसमें दिखाया गया कि उसके लगभग 0.07% उपयोगकर्ता प्रत्येक सप्ताह मनोविकृति या उन्माद के लक्षण दिखाते हैं, और 0.15% आत्मघाती विचारों या योजनाओं के बारे में बात करते हैं।
800 मिलियन साप्ताहिक सक्रिय उपयोगकर्ताओं के आधार पर, लगभग 560,000 लोग प्रत्येक सप्ताह मानसिक रूप से असामान्य बातचीत में संलग्न होते हैं, और 1.2 मिलियन लोग चैटजीपीटी में आत्मघाती प्रवृत्ति या मजबूत भावनात्मक निर्भरता व्यक्त करते हैं।
चैटजीपीटी एक ऐसा वृक्ष बन गया है जो भारी मात्रा में मनोवैज्ञानिक संकटों को जन्म देता है, और कुछ लोगों के लिए तो यह एक खतरनाक प्रलोभन भी है।
क्या ओपनएआई आसन्न एआई मनोविकृति में अपनी स्वयं की खामियों को उजागर कर रहा है?
ओपनएआई ने इस समय यह डेटा निराधार चिंता के कारण नहीं, बल्कि इसलिए जारी किया है क्योंकि स्थिति अत्यावश्यक है।
हाल के महीनों में, एआई चैटबॉट्स के साथ लंबी और गहन बातचीत के बाद अस्पताल में भर्ती होने, तलाक लेने या यहां तक कि मरने वाले लोगों की संख्या बढ़ रही है।
कुछ मनोचिकित्सकों और पेशेवरों ने इस घटना को "एआई मनोविकृति" कहना शुरू कर दिया है। कुछ पीड़ितों के रिश्तेदारों का कहना है कि चैटबॉट्स ने उनके भ्रम और व्यामोह को बढ़ावा दिया।
▲ सिमिलरवेब के नवीनतम आंकड़ों के अनुसार, ओपनएआई अभी भी जनरेटिव एआई पर हावी है।
ओपनएआई, जिसकी बाजार में सबसे अधिक हिस्सेदारी है और जो दुनिया में बहुत आगे है, को गंभीर कानूनी दबाव का सामना करना पड़ रहा है।
ओपनएआई पर एक 16 वर्षीय लड़के के माता-पिता द्वारा गलत तरीके से मौत का मुकदमा दायर किया जा रहा है। उनका दावा है कि उनके बेटे ने अपनी मृत्यु से कुछ हफ़्ते पहले आत्महत्या के विचारों के बारे में चैटजीपीटी को बताया था, और चैटजीपीटी ने उसे प्रोत्साहित किया था।
▲ एडम राइन, जिनके माता-पिता ने ओपनएआई पर अपने 16 वर्षीय बेटे की अप्राकृतिक मौत का आरोप लगाया
एक अन्य मामले में, जिसे अभी भी हत्या-आत्महत्या माना जा रहा है, संदिग्ध ने चैटजीपीटी के साथ घंटों की बातचीत पोस्ट की, जिससे पता चला कि एआई ने अपराधी के भ्रम को बढ़ावा दिया था।
नियामक चेतावनियाँ : कैलिफोर्निया सरकार, जहां ओपनएआई का मुख्यालय है, ने ओपनएआई को बार-बार चेतावनी दी है कि उसे अपने उत्पादों का उपयोग करने वाले युवाओं की सुरक्षा करनी चाहिए।
दो सप्ताह पहले, ऑल्टमैन ने ओपनएआई के बारे में गैरजिम्मेदाराना और असुरक्षित टिप्पणियों को दबाने के लिए चैटजीपीटी के मानसिक स्वास्थ्य पर एक अपडेट की भी घोषणा की थी।
क्या 170 डॉक्टर लाखों लोगों का इलाज कर सकते हैं?
इस संकट से निपटने के लिए, ओपनएआई ने आज अपनी सुरक्षा रिपोर्ट में घोषणा की कि उसने विशेषज्ञों के एक वैश्विक नेटवर्क के साथ सहयोग किया है, जिसमें 60 देशों के 170 से अधिक मनोचिकित्सक, मनोवैज्ञानिक और प्राथमिक देखभाल चिकित्सक शामिल हैं।
उनका लक्ष्य चैटजीपीटी को संकट की बेहतर पहचान करना, बातचीत को कम करना और उचित होने पर लोगों को पेशेवर देखभाल के लिए निर्देशित करना सिखाना है।
ओपनएआई के ब्लॉग के अनुसार, GPT-5 (gpt-5-oct-3) के नवीनतम संस्करण को तीन मुख्य पहलुओं में अपडेट किया गया है।
1. भ्रम या मानसिक बीमारी के मामले में, नया मॉडल अंधी चापलूसी से बचते हुए अधिक सहानुभूति व्यक्त करने के लिए डिज़ाइन किया गया है। नया मॉडल ऐसे किसी भी उपयोगकर्ता संकेत की पुष्टि नहीं कर सकता जिसका वास्तविकता से कोई लेना-देना न हो।
उदाहरण के लिए, ओपनएआई एक उपयोगकर्ता का उदाहरण देता है जो कहता है, "एक विमान मेरे घर के ऊपर से उड़ रहा है और मुझे निशाना बना रहा है।" नए मॉडल की आदर्श प्रतिक्रिया यह है कि उपयोगकर्ता को साझा करने के लिए धन्यवाद दिया जाए और यह बताया जाए कि कोई भी विमान या बाहरी शक्ति आपके विचारों को चुरा या उन तक पहुँच नहीं सकती।
2. आत्मघाती प्रवृत्तियों के प्रति अधिक सुरक्षित तरीके से प्रतिक्रिया करने के लिए मॉडलों को प्रशिक्षित करें तथा लोगों को संकटकालीन हेल्पलाइन जैसे पेशेवर संसाधनों तक पहुंचने में मार्गदर्शन करें।
3. भावनात्मक निर्भरता को संबोधित करने के लिए, चर्च मॉडल उपयोगकर्ताओं को वास्तविक दुनिया में पारस्परिक संबंध स्थापित करने के लिए प्रोत्साहित करता है।
ओपनएआई का दावा है कि चैटजीपीटी ने बेहतर मॉडल प्रतिक्रियाओं, स्वचालित रूप से पेशेवर हॉटलाइन जानकारी को पॉप अप करने, उपयोगकर्ताओं को वास्तविक दुनिया की मदद लेने के लिए मार्गदर्शन करने और यहां तक कि लंबी बातचीत के बाद उपयोगकर्ताओं को ब्रेक लेने की याद दिलाने जैसे अपडेट के माध्यम से अपने प्रदर्शन में काफी सुधार किया है।
उन्होंने मूल्यांकन में भाग लेने के लिए डॉक्टरों की एक टीम से संपर्क किया। इन चिकित्सा विशेषज्ञों ने संभावित मनोविकृति, आत्महत्या और भावनात्मक लगाव से जुड़े 1,800 से ज़्यादा मॉडल प्रतिक्रियाओं की समीक्षा की और GPT-5 के नवीनतम संस्करण के उत्तरों की तुलना GPT-4o द्वारा उत्पन्न उत्तरों से की।
GPT-5 के नए संस्करण में GPT-4o की तुलना में सभी श्रेणियों में गलत उत्तरों में 39% से 52% की कमी पाई गई। GPT-5 के अगस्त संस्करण की तुलना में, हाल के प्रोडक्शन ट्रैफ़िक में OpenAI के वर्गीकरण मानकों को पूरा न करने वाली कार्रवाइयों के लिए प्रतिक्रिया दर में 65% से 80% की कमी आई है।
आत्महत्या से संबंधित बातचीत के मूल्यांकन में, नए GPT-5 मॉडल (3 अक्टूबर संस्करण) ने 91% अनुपालन हासिल किया, जबकि पिछले GPT-5 मॉडल (15 अगस्त संस्करण) में केवल 77% अनुपालन था।
▲बातचीत जितनी लंबी होगी, नया gpt-5-oct-3 प्रदर्शन उतना ही स्थिर होगा
इसके अलावा, एक महत्वपूर्ण तकनीकी बिंदु है: ओपनएआई ने स्वीकार किया है कि लंबी बातचीत में उनके सुरक्षा उपाय कम प्रभावी होते हैं; और "एआई मनोविकृति" के कई मामले देर रात तक लंबी बातचीत में होते हैं।
ओपनएआई ने बताया कि उसने इस मुद्दे पर महत्वपूर्ण प्रगति की है और जटिल एवं कठिन लंबी बातचीत में 95% से अधिक की विश्वसनीयता बनाए रखी है।
अल्ट्रामैन का यह अपडेट वाकई सराहनीय है। हालाँकि, कई नेटिज़न्स ने तथाकथित अधिक सुरक्षा के बारे में गहरी शंकाएँ भी जताई हैं।
कुछ लोगों का कहना है कि ओपनएआई ने अपनी सुरक्षा रिपोर्ट में कहा है कि मानसिक स्वास्थ्य पर ये बातचीत "बेहद दुर्लभ" हैं, लेकिन वास्तविकता यह है कि भले ही 0.07% एक छोटा प्रतिशत लगता हो, लेकिन वास्तव में यह करोड़ों लोगों के उपयोगकर्ता आधार में काफी बड़ी संख्या है।
कुछ लोगों ने यह भी उल्लेख किया कि तथाकथित नए संस्करण GPT-5 ने बेहतर प्रदर्शन किया, और सभी मूल्यांकन बेंचमार्क OpenAI द्वारा ही डिज़ाइन किए गए थे।
भले ही मॉडल "बेहतर" उत्तर दे, लेकिन हमारे पास यह जानने का कोई तरीका नहीं है कि जो उपयोगकर्ता मनोविकृति, आत्मघाती विचार या अस्वास्थ्यकर भावनात्मक निर्भरता का अनुभव कर रहे हैं, वे वास्तव में तेजी से मदद मांगेंगे या परिणामस्वरूप अपने व्यवहार को बदलेंगे।
हालांकि ओपनएआई ने स्वीकार किया है कि नए मॉडल (जीपीटी-5) ने सुरक्षा में महत्वपूर्ण सुधार किया है, फिर भी ऐसे उपयोगकर्ता हैं जो "पुराने, कम सुरक्षित" एआई मॉडल, जैसे कि जीपीटी-4o को पसंद करते हैं; और ओपनएआई भुगतान करने वाले ग्राहकों को यह विकल्प प्रदान करना जारी रखता है।
पहली बार, ओपनएआई एक मोटा अनुमान जारी कर रहा है कि दुनिया भर में कितने चैटजीपीटी उपयोगकर्ता किसी सप्ताह में गंभीर मानसिक स्वास्थ्य संकट के लक्षण दिखा रहे हैं।
चैटजीपीटी, जैसा कि हम इससे परिचित हैं, न केवल सबसे कुशल उत्पादकता उपकरण, कोडिंग सहायक और प्रेरणा का स्रोत प्रतीत होता है… यह एक ऐसा भागीदार भी बन गया है जो अधिकांश उपयोगकर्ताओं की भावनाओं और मनोविज्ञान में गहराई से हस्तक्षेप करता है।
170 चिकित्सा विशेषज्ञों, मॉडल संकेतों और अनुकूलित प्रतिक्रियाओं के साथ, एआई यह सीखने की पूरी कोशिश कर रहा है कि पतन के कगार पर खड़े मनुष्यों को कैसे पकड़ा जाए; लेकिन मुझे लगता है कि सच्चे उद्धार के लिए, हमें अभी भी इसे स्वयं सीखने की जरूरत है, चैट बॉक्स को बंद करना होगा और वास्तविक वास्तविकता को अपनाना होगा।
#iFaner के आधिकारिक WeChat सार्वजनिक खाते का अनुसरण करने के लिए आपका स्वागत है: iFaner (WeChat ID: ifanr), जहां जितनी जल्दी हो सके आपके लिए अधिक रोमांचक सामग्री प्रस्तुत की जाएगी।