“सोने की दौड़” से “चैटबॉट की होड़” तक: स्वास्थ्य क्षेत्र में एआई और रोगी सुरक्षा के बीच संतुलन

Image Source: गेटी

आज जहां भी देखो, स्वास्थ्य से जुड़ा एक नया चैटबॉट अपनी जगह बना रहा है. ये बिल्कुल वैसा ही है, जैसे पुराने ज़माने में सोने की दौड़ होती थी. उस ज़माने की सोने की होड़ में ज़्यादातर लोग अपने पैसे गंवा बैठते थे. भरोसेमंद विजेता होते थे कुदाल और कड़ाही बेचने वाले व्यापारी, जो हर हाल में पैसा कमाते थे, फिर चाहे सोना मिले या नहीं. आज ऐसे ही व्यापारी वो कॉर्पोरेट, मॉडल प्रदाता और चैटबॉट प्लेटफ़ॉर्म हैं. जो हर स्वास्थ्य सेवा, क्लिनिक, बीमाकर्ता, सार्वजनिक कार्यक्रम और मरीज़ के लिए सामान्य प्लग-एंड-प्ले बॉट और आर्टिफिशियल इंटेलिजेंस (एआई) सहायक तैयार कर रहे हैं. प्लग-एंड-प्ले बॉट का अर्थ ऐसे एआई टूल से है, जो बिना किसी दिक्कत के सीधे कार्य करना शुरू कर देते हैं. स्वास्थ्य देखभाल के काम में एआई चैटबॉट को शामिल करने का आकर्षण बहुत स्पष्ट है, लेकिन देखभाल का दायित्व तय नहीं है.

हर साल 17 सितंबर को मनाया जाने वाला विश्व रोगी सुरक्षा दिवस, बड़े पैमाने पर काम से पहले सुरक्षा को प्राथमिकता देने की ज़रूरी याद दिलाता है. विश्व रोगी सुरक्षा दिवस 2025 का विषय है; "हर नवजात और हर बच्चे के लिए सुरक्षित देखभाल". इस बार का नारा है; "शुरुआत से ही रोगी सुरक्षा!". यह स्वास्थ्य प्रणालियों से आह्वान करता है कि शिक्षा, जागरूकता और देखभाल में सक्रिय भागीदारी को बढ़ावा देकर सुरक्षा में सुधार किया जाए. हालांकि, इस नारे का उद्देश्य बाल चिकित्सा पर केंद्रित है, लेकिन ये सिद्धांत सभी क्षेत्रों पर लागू होता है: अगर लक्ष्य ये है कि स्वास्थ्य देखभाल में एआई को सक्षम बनाना है, तो सुरक्षा को शुरू से ही इलमें शामिल किया जाना चाहिए, सिर्फ डेमो/प्रदर्शन के बाद नहीं जोड़ा जाना चाहिए

विश्व रोगी सुरक्षा दिवस 2025 का विषय है; "हर नवजात और हर बच्चे के लिए सुरक्षित देखभाल". इस बार का नारा है; "शुरुआत से ही रोगी सुरक्षा!". यह स्वास्थ्य प्रणालियों से आह्वान करता है कि शिक्षा, जागरूकता और देखभाल में सक्रिय भागीदारी को बढ़ावा देकर सुरक्षा में सुधार किया जाए.

चिकित्सा उपकरण नियमों और क्लीनिकल-ज़ोखिम मानकों से लेकर प्लेटफ़ॉर्म नीतियों तक, सुरक्षा उपाय और कुछ नियामक तंत्र पहले से मौजूद हैं. हालांकि, जब सामान्य कार्य वाले चैटबॉट का इस्तेमाल अनपेक्षित उद्देश्यों के लिए किया जाता है, या वो चैटबॉट लॉन्च के बाद भी अपडेट होते रहते हैं, तो फिर कवरेज़ असमान रहती है. ऐसे में एक साधारण परीक्षण अभी भी मददगार है: अगर कोई चिकित्सा प्रणाली रोग के इलाज, प्राथमिकता निर्धारण या स्व-देखभाल को प्रभावित कर सकती है, तो उसके निर्माताओं और उस उपकरण को तैनात करने वालों को सुरक्षा सही करनी होगी. वास्तविक दुनिया में प्रदर्शन को साबित करना होगा, और अगर कोई फैसला लेने की ज़रूरत होगी तो संबंधित व्यक्ति को पहुंच में रखना होगा. एआई चैटबॉट को लेकर सोने की दौड़ जैसी यह ऊर्जा उपयोगी हो सकती है, लेकिन स्पष्ट सुरक्षा उपायों के बिना, ये इन विक्रेताओं के मुनाफे को मरीजों के लिए वास्तविक ज़ोखिम में बदल सकता है. इसलिए, विश्व रोगी सुरक्षा दिवस सभी से आग्रह करता है कि वो सोच-समझकर इस बात तो चुनें कि कौन सा उपाय अपनाना है.

चैटबॉट क्या कर सकते हैं और क्या नहीं कर सकते?

विश्व स्वास्थ्य संगठन (डब्ल्यूएचओ) के बड़े मल्टी-मोडल मॉडल्स (एलएमएम) संबंधी दिशानिर्देश स्वास्थ्य क्षेत्र में एआई के किसी भी उपयोग के लिए पूर्व-शर्तें निर्धारित करते हैं. इलाज के दौरान हेल्थ चैटबॉट सूचना, शिक्षा और प्रशासनिक कार्यों में मदद कर सकते हैं, लेकिन उनका इस्तेमाल सिर्फ उन्हीं परिभाषित सीमाओं के भीतर किया जाना चाहिए, जो पहले से निर्धारित हैं. इनका उपयोग करने वालों से अपेक्षा की जाती है कि वो डेटा की सीमाओं और एआई मॉडल के व्यवहार की व्याख्या करें. पूर्वाग्रह और मतिभ्रम का परीक्षण करें, किसी व्यक्ति को सूचित रखें, और लॉन्च के बाद प्रदर्शन की निगरानी करें। दूसरे शब्दों में कहें तो, सुरक्षा पहले आती है और तैनाती बाद में.

एआई चैटबॉट की हाल की समीक्षाओं से मिले सबूत भी सावधानी बरतने की बात का समर्थन करते हैं. जर्नल ऑफ मेडिकल इंटरनेट रिसर्च में 2024 की एक त्वरित समीक्षा में रोगी शिक्षा, व्यवहार समर्थन और प्रशासनिक दक्षता की वास्तविक खूबियों की बात की गई है. इसके साथ ही उन नैतिक, चिकित्सा-कानूनी और सुरक्षा संबंधी सीमाओं को भी रेखांकित किया गया है, जिन्हें उपयोग में लाने से पहले प्रबंधित किया जाना चाहिए. 2025 में, CHART (चैटबॉट असेसमेंट रिपोर्टिंग टूल) दिशानिर्देश दिए गए. इसका नेतृत्व CHART सहयोगी (चिकित्सकों, मैथेडोलॉजिस्ट, संपादकों, रोगी भागीदारों और एआई शोधकर्ताओं का एक अंतर-अनुशासनात्मक वैश्विक संघ) द्वारा किया जाता है. इस संघ ने तेजी से बढ़ते 'चैटबॉट स्वास्थ्य सलाह' साहित्य का मूल्यांकन किया और पाया कि चैटजीपीटी के एक साल के भीतर कम से कम 137 अध्ययन प्रकाशित हुए, जिनमें से 40 प्रतिशत से कम में बुनियादी सवाल विवरण का वर्णन किया गया था. CHART अब 12-आइटम, 39-सब-आइटम चेकलिस्ट तैयार करता है, जिससे अध्ययन में इस्तेमाल किए गए मॉडल, संकेतों, मूल्यांकन विधियों और सुरक्षा उपायों की रिपोर्ट की जा सके. मानसिक स्वास्थ्य सिंथेसिस एक और चेतावनी जोड़ते हैं. ऐसा कोई भी उपयोग जो डायग्नोसिस, उपचार या संकट में वृद्धि को प्रभावित कर सकता है, उसके लिए एक स्वतंत्र बॉट के बजाय मज़बूत मानवीय निगरानी की ज़रूरत होती है. कुल मिलाकर, संदेश स्पष्ट है: चैटबॉट्स को उपचार प्रक्रिया में उपयोगी सहायक के रूप में माना जाना चाहिए, ना कि उसे उपचार संबंधी स्वतंत्र निर्णय के विकल्प के रूप में अपनाया जाना चाहिए.

किन क्षेत्रों में चैटबॉट से हो सकता है नुकसान?

कुछ केस स्टडी सामने आई हैं, जो दिखाती हैं कि जब चैटबॉट स्वीकार्य सीमाओं से भटक जाते हैं तो क्या गड़बड़ हो सकती है. अगस्त 2025 में प्रकाशित एक समीक्षा केस रिपोर्ट में 60 साल के शख्स का वर्णन है, उसने एक चैटबॉट से पूछा कि अपने खाने से क्लोराइड कैसे हटाया जाए? इसके बाद तीन महीने तक उसने टेबल सॉल्ट (रासायनिक सूत्र: NaCl) की जगह सोडियम ब्रोमाइड (रासायनिक सूत्र: NaBr) का इस्तेमाल किया. उसे व्यामोह (पैरानॉया) और मतिभ्रम ((हैलुसिनेशन) होने लगा. इतना ही नहीं, उसे ब्रोमिज़्म होने का पता चला, जो एक तरह की टॉक्सिसिटी थी, जो एक सदी पहले आम थी, लेकिन आज दुर्लभ है. चिकित्सक मूल चैट को दोबारा प्राप्त नहीं कर सके, फिर भी इसी तरह के संकेतों ने बिना किसी पर्याप्त चेतावनी के ब्रोमाइड को 'विकल्प' के रूप में लौटा दिया. यह चैटबॉट में रोगी-सुरक्षा की एक विफलता है, जो विश्वास के साथ पेश किए गए और चिकित्सक तक बिना किसी बात के पहुंचाए गए संभावित झूठों से पैदा हुई है.

चैटबॉट्स को उपचार प्रक्रिया में उपयोगी सहायक के रूप में माना जाना चाहिए, ना कि उसे उपचार संबंधी स्वतंत्र निर्णय के विकल्प के रूप में अपनाया जाना चाहिए.

महत्वपूर्ण बात ये है कि जब बच्चे शामिल हों तो सुरक्षा ज़ोखिम कई गुना बढ़ जाते हैं. मेटा के आंतरिक नियमों की रॉयटर्स द्वारा की गई जांच में पाया गया कि कंपनी के दिशानिर्देशों ने चैटबॉट्स को नाबालिगों के साथ 'कामुक' बातचीत करने और झूठी चिकित्सा जानकारी देने की अनुमति दी थी. बाद में मेटा ने कहा है कि वो सुरक्षा उपाय बढ़ाएगा. ये रिपोर्टें सख्त पाबंदी की ज़रूरत पर ज़ोर देती हैं, ना कि नरम प्रतिबंधों की, खासकर जब उत्पादों तक युवा लोगों की पहुंच हो. कंपनियां और नीति निर्माता भी इस पर प्रतिक्रिया देने लगे हैं. ओपनएआई ने भावनात्मक संकट में उपयोगकर्ताओं से निपटने के अपने सिस्टम में बदलावों की घोषणा की है. ये घोषणा एक किशोर के परिवार द्वारा कानूनी कार्रवाई के बाद की गई है. इस किशोर युवक ने महीनों तक चैटबॉट पर बातचीत के बाद आत्महत्या कर ली थी. इलिनोइस पहला अमेरिकी राज्य बन गया है, जिसने एआई चैटबॉट्स को स्वतंत्र चिकित्सक के रूप में कार्य करने से प्रतिबंधित कर दिया है. इलिनोइस में सहायता उपकरणों और विनियमित देखभाल के बीच एक स्पष्ट रेखा खींची गई है.

एक सांस्कृतिक बदलाव भी हो रहा है. जापान से आ रही खबरों में लोग अकेलेपन को कम करने के लिए चैटबॉट का सहारा ले रहे हैं. निर्भरता और धुंधली सीमाओं की चिंताओं के साथ-साथ, मानवीकृत चैटबॉट्स के बढ़ते उपयोग का वर्णन भी रिपोर्ट में किया गया है. ये उत्पाद अति-विश्वास को बढ़ावा देते हैं, जो मॉडल की विफलता के ज्ञात तरीकों को बढ़ाता है, जैसे कि मनगढ़ंत तथ्य, 'सहमत' लेकिन गलत उत्तर, और उपयोगकर्ता की मान्यताओं को और पुष्ट करना. शोधकर्ता इस प्रवृति को चाटुकारिता कहते हैं, और ये एलएलएम में अच्छी तरह से प्रमाणित है. मरीज़ों की सुरक्षा के लिए, मानवीकरण, अति-विश्वास और मनमाने झूठ का ये मिश्रण एक बढ़ता हुआ ख़तरा है.

चिकित्सकीय रूप से भी, ज़ोखिम कुछ परिचित तरीकों से सामने आते हैं. स्वचालन पूर्वाग्रह (ऑटोमेशन बायस) उपयोगकर्ताओं को सिस्टम पर भरोसा करने और पुष्टिकरण प्रमाण की तलाश बंद करने के लिए प्रेरित करता है, भले ही सलाह गलत हो. मानसिक स्वास्थ्य चिकित्सक चेतावनी देते हैं कि बिना निगरानी के चैटबॉट के इस्तेमाल से भ्रम या आत्महत्या की सोच और भी बदतर हो सकती है. हाल ही में प्रकाशित रिपोर्टों में 'एआई मनोविकृति' के ऐसे मामलों के बारे में विस्तार से बताया गया है, जहां चैटबॉट्स के साथ लंबे समय तक गहन जुड़ाव भी भ्रम और संकट में डालने वाली सोच में एक भूमिका निभाता प्रतीत होता है. हालांकि, ये तकनीक को ही त्यागने के कारण नहीं हैं, बल्कि ये मनुष्यों तक कठोर पहुंच बनाने, करीबी चूक को दर्ज करने और संलग्नता के बजाय परिणामों को मापने के कारण हैं.

अब नियामकों के लिए परीक्षा की घड़ी

भारत 19-20 फ़रवरी 2026 को एआई इम्पेक्ट समिट की करेगा. अब वक्त आ गया है कि इसके एजेंडे को एआई के प्रदर्शन से आगे ले जाकर नेतृत्व और डिज़ाइन द्वारा रोगी सुरक्षा की ओर मोड़ना होगा. इसके लिए चैटबॉट्स के विस्तार से पहले उनके लिए सुरक्षा नियम निर्धारित करने होंगे. भारत में चैटबॉट्स की तैनाती की कार्यपुस्तिका को सबसे मज़बूत अंतर्राष्ट्रीय मानकों के अनुरूप बनाने की सार्वजनिक प्रतिबद्धता ज़रूरी है.

मेटा के आंतरिक नियमों की रॉयटर्स द्वारा की गई जांच में पाया गया कि कंपनी के दिशानिर्देशों ने चैटबॉट्स को नाबालिगों के साथ 'कामुक' बातचीत करने और झूठी चिकित्सा जानकारी देने की अनुमति दी थी. बाद में मेटा ने कहा है कि वो सुरक्षा उपाय बढ़ाएगा.

यूरोप में, स्वास्थ्य से जुड़े एआई आमतौर पर यूरोपीय संघ (ईयू) एआई अधिनियम के उच्च-ज़ोखिम वाले दायरे में आते हैं. इसे चिकित्सा उपकरण कानून का भी पालन करना होता है. मेडिकल डिवाइस कोऑर्डिनेशन ग्रुप के जून 2025 सबसे ज़्यादा पूछे जाने वाले सवाल (एमडीसीजी 2025-6) में बताया गया है कि कैसे एआई अधिनियम एमडीआर/आईवीडीआर (मेडिकल डिवाइस रेगुलेशन/इन-विट्रो डायग्नोस्टिक रेगुलेशन) से जुड़ा है. इसमें जीवनचक्र ज़ोखिम प्रबंधन, डेटा गवर्नेंस और पोस्ट-मार्केट निगरानी पर ज़ोर दिया गया है. व्यवहारिक दुनिया में, कई स्वास्थ्य चैटबॉट्स को दोनों व्यवस्थाओं को पूरा करना होगा. भारतीय खरीदार, इन उत्पादों के विक्रेताओं से डिवाइस-ग्रेड गुणवत्ता प्रबंधन के साथ-साथ एआई-अधिनियम-शैली नियंत्रण (ज़ोखिम लॉग शीट, डेटा शासन, मानव निगरानी) का प्रमाण मांगकर इसे दोहरा सकते हैं.

अमेरिका में, खाद्य एवं औषधि प्रशासन (एफडीए) ने एआई-सक्षम उपकरणों के लिए पूर्व निर्धारित परिवर्तन नियंत्रण योजनाओं (पीसीसीपी) पर दिशानिर्देशों को अंतिम रूप दे दिया है. सीधे शब्दों में कहें तो, एआई का विकास करने वालों को पहले से घोषणा करनी होगी कि वो क्या अपडेट करेंगे, अपडेट कैसे नियंत्रित किए जाएंगे, हर एक बदलाव के बाद सुरक्षा और प्रभावशीलता का फिर से सत्यापन कैसे किया जाएगा. इसका मतलब ये हुआ कि सिर्फ इन्हें अनुमोदन देते वक्त ही इन पर नियंत्रण नहीं होगा, बल्कि ये लगातार कंट्रोल में बदल जाएगा. ये ठीक वैसा ही है, जैसा अनुकूली यानी खुद को ज़रूरत के हिसाब से ढाल लेने वाले चैटबॉट्स के लिए आवश्यक है. भारतीय नियामक और खरीदार आज ही अनुबंधों में पीसीसीपी-शैली के अपडेट प्रोटोकॉल अपना सकते हैं.

ब्रिटेन में, एमएचआरए (मेडिसिन एंड हेल्थकेयर प्रोडक्ट्स रेगुलेटरी एजेंसी) भी इस पर काम कर रहा है. एआई एयरलॉक सैंडबॉक्स, निगरानी में उच्च-ज़ोखिम वाले एआईएएमडी (चिकित्सा उपकरण के रूप में एआई) का परीक्षण कर रहा है. इतना ही नहीं, राष्ट्रीय स्वास्थ्य सेवा (एनएचएस) क्लीनिकल-ज़ोखिम के दस्तावेज़ीकरण को अनिवार्य करती है. एआई निर्माताओं के लिए डीसीबी-0129 और इन्हें तैनात करने वाले संगठनों के लिए डीसीबी-0160. इन मानकों के लिए एक दस्तावेज़ी सुरक्षा मामले, ज़ोखिम विश्लेषण और मनुष्यों पर परीक्षण किए गए प्रसार की ज़रूरत होती है. 'टेसा चैटबॉट' प्रकरण जैसी विफलताओं में ये नियंत्रण अनुपस्थित हैं. भारत भी इसी तरह का पैटर्न अपना सकता है: एक लिखित सुरक्षा मामला और एक परीक्षण किया हुआ प्रसार प्रोटोकॉल तैयार किया जाए, जिस पर किसी भी बॉट को छूने से होने वाली देखभाल के लिए कोई समझौता ना किया जा सके.

भारत के पास पहले से ही नेतृत्व करने के लिए पर्याप्त संसाधन मौजूद हैं. आयुष्मान भारत डिजिटल मिशन (एबीडीएम) सैंडबॉक्स, राष्ट्रीय मानकों के अनुरूप चैटबॉट्स को एकीकृत और परखने के लिए एक नियंत्रित वातावरण प्रदान करता है. डिजिटल व्यक्तिगत डेटा संरक्षण (डीपीडीपी) अधिनियम, 2023 सहमति, उद्देश्य सीमा और जवाबदेही संबंधी दायित्व निर्धारित करता है. खरीद का सामान्य नियम सरल होना चाहिए. यदि कोई चैटबॉट निदान, प्राथमिकता निर्धारण या उपचार को प्रभावित करता है, तो उसे मार्केटिंग की भाषा की परवाह किए बिना, उसे एक चिकित्सा उपकरण के रूप में माना जाना चाहिए. इसमें सुरक्षा मामले, परिणाम निगरानी और मानव-निगरानी की गारंटी होनी चाहिए.

एआई के आकर्षण को आश्वासन में बदलना

अगर भारत चाहता है कि चैटबॉट, खासकर स्वास्थ्य चैटबॉट की होड़ कुछ ज़्यादा टिकाऊ और स्थायी समाधान छोड़ जाए, तो नेताओं को इंडिया एआई 2026 का इस्तेमाल करके मरीज़ों की सुरक्षा के लिए आसान भाषा में और सार्वजनिक रूप से कुछ आधारभूत नियम तय करने चाहिए. एक राष्ट्रीय खरीदार सूची ये काम कर सकती है. ये कहना चाहिए कि इनका घोषित इच्छित उपयोग किया जाएगा. ब्रिटेन की ही तरह, एक डीसीबी-0129/डीसीबी-0160-शैली का लिखित सुरक्षा मामला अपनाना चाहिए. इसके अलावा, पीसीसीपी पर आधारित एक पूर्व-निर्धारित परिवर्तन-नियंत्रण योजना, नियमित घटनाओं, करीबी-चूक रिपोर्टिंग, बच्चों और युवाओं के लिए स्पष्ट सुरक्षा उपायों पर ज़ोर देना चाहिए. खरीद में यह भी अनिवार्य होना चाहिए कि किसी भी स्वास्थ्य बॉट को पैमाने पर लाने से पहले राष्ट्रीय सैंडबॉक्स में परीक्षण किया जाए. विक्रेताओं को एक संक्षिप्त, पठनीय मॉडल कार्ड प्रकाशित करना चाहिए, जिसमें डेटा सीमा, उन विफल मोड के बारे में बताया जाए, जिसके बारे में पता हो. इसके अलावा, मनुष्यों तक पहुचने के नियमों के बारे में विस्तार से बताया गया हो. एआई बनाने वालों और सेवा प्रदाताओं को एआई के काम और इसके ख़तरों को स्पष्ट रूप  से परिभाषित करके शुरुआत करनी चाहिए. लॉन्च से पहले सुरक्षा मामले को विकसित किया जाना चाहिए, जिसमें एक खतरा लॉग, विफलता-मोड विश्लेषण हो. इसके साथ ही, निर्णय की ज़रूरत होने पर मानव तक पहुंचने का एक जांचा-परखा, समयबद्ध मार्ग शामिल होना चाहिए.

अगले कुछ वर्षों में, पायलट प्रोजेक्ट से लेकर खरीद ढांचों तक, डेमो/शोकेस रीलों के बजाय साक्ष्य और सुरक्षा मामलों की आवश्यकता वाले बदलाव की संभावना है. एआई की ज़रूरत और उपकरण कानून के बीच धीरे-धीरे नियमन हो रहा है, जीवनचक्र नियंत्रण को सामान्य बनाया जा रहा है. मरीज़ सुरक्षा की घटनाओं की ज़्यादा से ज़्यादा जानकारी होना फ़ायदेमंद है, क्योंकि ऐसा होने से मरीज़ों को नुकसान पहुंचने से पहले ही सिस्टम को पता चल जाता है कि कब-कब चूक हुई है. एआई विकास की मौजूदा गति को दिशा दी जा सकती है. उचित सुरक्षा उपायों के साथ, स्वास्थ्य चैटबॉट देखभाल के क्षेत्र में अपनी जगह बना सकते हैं और उसे बनाए रख सकते हैं. मरीज़ की सुरक्षा उस भविष्य में कोई बाधा नहीं है, बल्कि उस तक पहुंचने का रास्ता हो सकती है.

केएसयू गोपाल ऑब्ज़र्वर रिसर्च फाउंडेशन की स्वास्थ्य पहल में एसोसिएट फेलो हैं.

• Healthcare
• south Asia
• AI in healthcare
• AI regulation in health
• Chatbot gold rush
• patient safety in AI
• एआई चैटबॉट
• चैटबॉट जोखिम
• डिजिटल हेल्थ इंडिया
• रोगी सुरक्षा
• विश्व रोगी सुरक्षा दिवस 2025
• स्वास्थ्य चैटबॉट

The views expressed above belong to the author(s). ORF research and analyses now available on Telegram! Click here to access our curated content — blogs, longforms and interviews.

PREV NEXT