रुग्णसुरक्षा की AI चा मोह? चॅटबॉट्समधून रुग्णसुरक्षेला नवं आव्हान

Image Source: Getty Images

आज सगळीकडे पाहिलं तर नवनवीन हेल्थ चॅटबॉट्स सुरू होताना दिसतात. हे दृश्य अगदी जुन्या काळातील गोल्ड रश सारखं आहे. त्या काळात बहुतेक सोनं शोधणाऱ्यांचं नुकसान झालं, पण कायमस्वरूपी फायदा झाला तो फावडे-ताटवे विकणाऱ्यांना. आज त्या जागी मोठे कॉर्पोरेट्स, मॉडेल-प्रोव्हायडर्स आणि चॅटबॉट प्लॅटफॉर्म्स आले आहेत. ते प्रत्येक हेल्थ सर्व्हिस, दवाखाना, विमा कंपनी, सरकारी योजना आणि रुग्णांसाठी तयार केलेले प्लग-अँड-प्ले बॉट्स आणि एआय असिस्टंट्स बाजारात आणत आहेत. त्यांना वैद्यकीय कामकाजात वापरण्याचं आकर्षण खूप आहे, पण ड्यूटी ऑफ केअर मात्र तितकं ठळकपणे दिसत नाही.

दरवर्षी 17 सप्टेंबर ला साजरा होणारा वर्ल्ड पेशंट सेफ्टी डे आपल्याला वेळोवेळी स्मरण करून देतो की “विकासाआधी सुरक्षितता” हाच खरा मार्ग आहे. 2025 चा विषय आहे तो म्हणजे “सेफ केअर फॉर एव्हरी न्यूबॉर्न अँड एव्हरी चाईल्ड” आणि त्याचं घोषवाक्य आहे “पेशंट सेफ्टी फ्रॉम द स्टार्ट!”. हा विषय जरी बालरोगांवर केंद्रित असला तरी त्यामागचं तत्त्व सर्वच क्षेत्रांना लागू आहे: जर उद्दिष्ट एआय इन केअर सक्षम करणं असेल, तर सुरक्षितता सुरुवातीपासूनच प्रणालीचा भाग असावी, नंतर केवळ डेमो किंवा शोकेस साठी जोडलेली नसावी.

सध्या वैद्यकीय उपकरणांचे नियम, क्लिनिकल-रिस्क स्टँडर्ड्स आणि प्लॅटफॉर्म पॉलिसीज अशा अनेक संरक्षक यंत्रणा अस्तित्वात आहेत. पण जनरल-पर्पज चॅटबॉट्स चुकीच्या हेतूसाठी वापरले गेले किंवा लॉन्च नंतर सतत बदलले गेले तर हे नियम नेहमी पुरेसे ठरत नाहीत. म्हणून एक साधा नियम लक्षात ठेवावा लागतो: जर एखादी प्रणाली डायग्नोसिस, ट्रायाज किंवा सेल्फ-केअर वर परिणाम करत असेल, तर तिचे निर्माते आणि वापरकर्त्यांनी सुरक्षिततेसाठी स्वतंत्र सेफ्टी केस तयार करावा, प्रत्यक्ष वापरातील परिणामकारकता सिद्ध करावी आणि महत्त्वाच्या क्षणी मानवी हस्तक्षेप नक्की ठेवावा. या गोल्ड-रश ऊर्जेचा सकारात्मक उपयोग होऊ शकतो. पण स्पष्ट गार्डरेल्स नसल्यास विक्रेत्यांचा नफा रुग्णांसाठी खऱ्या जोखमीचं कारण ठरू शकतो. म्हणूनच वर्ल्ड पेशंट सेफ्टी डे आपल्याला आठवण करून देतो की आपण भविष्यात कोणता मार्ग निवडणार?

चॅटबॉट्स काय करू शकतात आणि काय नाही

वर्ल्ड हेल्थ ऑर्गनायझेशन (WHO) ने लार्ज मल्टी-मोडल मॉडेल्स (LMMs) संदर्भातील मार्गदर्शनात आरोग्य क्षेत्रात AI वापरासाठी काही पूर्वअटी निश्चित केल्या आहेत. आरोग्यविषयक चॅटबॉट्स माहिती, शिक्षण आणि प्रशासकीय कामांसाठी उपयुक्त ठरू शकतात, पण त्यांचा वापर स्पष्टपणे ठरवलेल्या चौकटीतच व्हायला हवा. वापरकर्त्यांनी डेटाच्या मर्यादा आणि मॉडेलच्या वर्तनाचे स्पष्टीकरण द्यावे, बायस व हॅल्युसिनेशन्सची चाचणी घ्यावी, मानवी हस्तक्षेप कायम ठेवावा आणि लाँचनंतर कार्यक्षमता सातत्याने तपासावी. थोडक्यात, प्रथम गव्हर्नन्स आणि नंतर डिप्लॉयमेंट हा क्रम असला पाहिजे.

चॅटबॉट हेल्थ अ‍ॅडव्हाइस’ या वेगाने वाढत असलेल्या साहित्याचा अभ्यास केला गेला. फक्त एका वर्षातच चॅटजीपीटी नंतर 137 अभ्यास प्रकाशित झाले, पण त्यापैकी फक्त 40% पेक्षा कमी अभ्यासांनी मूलभूत माहिती नोंदवली.

अलीकडील पुरावे दाखवतात की यापूर्वी सांगितलेल्या गोष्टी बरोबर आहे. 2024 मध्ये जर्नल ऑफ मेडिकल इंटरनेट रिसर्चमध्ये प्रकाशित झालेल्या रॅपिड रिव्ह्यूने दाखवले की चॅटबॉट्स रुग्ण शिक्षण, वर्तन सहाय्य आणि प्रशासकीय कामांसाठी खरोखरच उपयुक्त आहेत, पण त्यांच्यासोबत नैतिक, वैद्यकीय-कायदेशीर आणि सुरक्षा मर्यादा लक्षात घेणे आवश्यक आहे, कारण या मर्यादा पाळल्या नाहीत तर वापरावर धोका होऊ शकतो. 2025 मध्ये CHART (चॅटबॉट ॲसेसमेंट रिपोर्टिंग टूल) हा मार्गदर्शक तयार केला गेला, ज्यामध्ये क्लिनिशियन्स, मेथोडॉलॉजिस्ट्स, एडिटर्स, पेशंट पार्टनर्स आणि AI रिसर्चर्स यांचा जागतिक सहयोग होता. याने चॅटबॉट हेल्थ अ‍ॅडव्हाइस’ या वेगाने वाढत असलेल्या साहित्याचा अभ्यास केला गेला. फक्त एका वर्षातच चॅटजीपीटी नंतर 137 अभ्यास प्रकाशित झाले, पण त्यापैकी फक्त 40% पेक्षा कमी अभ्यासांनी मूलभूत माहिती नोंदवली. CHART ने आता 12-आयटम, 39-सबआयटमांची चेकलिस्ट तयार केली आहे, ज्यात वापरलेले मॉडेल, प्रॉम्प्ट्स, मूल्यांकन पद्धती आणि सुरक्षिततेचे उपाय स्पष्टपणे नोंदवणे बंधनकारक केले आहे. मानसिक आरोग्यविषयक अभ्यास सूचित करतात की, निदान, उपचार किंवा संकट व्यवस्थापनावर परिणाम करणारा कोणताही वापर स्वतंत्र बॉटवर सोडू नये; तो नेहमी मानवी देखरेखीखाली असावा. एकंदरीत संदेश असा आहे की, चॅटबॉट्स उपयुक्त सहाय्यक असू शकतात, पण क्लिनिकल निर्णय घेण्याचे पर्याय म्हणून त्यांचा वापर करणे योग्य नाही.

धोका कुठे दिसतो

वास्तविक प्रकरणे दाखवतात की जेव्हा चॅटबॉट्स त्यांच्या स्वीकार्य मर्यादेपलीकडे जातात, तेव्हा काय धोके उद्भवू शकतात. ऑगस्ट 2025 मध्ये प्रकाशित झालेल्या पिअर-रिव्ह्यू केलेल्या केस रिपोर्टमध्ये 60 वर्ष वयाच्या व्यक्तीचा अनुभव सांगितला आहे. त्याने चॅटबॉटला विचारले की त्याच्या आहारातून क्लोराइड कसे कमी करावे. त्यानंतर त्याने टेबल सॉल्ट (NaCl) च्या ऐवजी सोडियम ब्रोमाइड (NaBr) तीन महिन्यांसाठी घेतले. यामुळे त्याला पॅरानोया आणि हॅल्युसिनेशन्स झाले, आणि त्याचे निदान ‘ब्रॉमिझम’ असे झाले. हा एक असा प्रकार होता, जो शतकापूर्वी सामान्य होता, पण आज दुर्मिळ आहे. क्लिनिशियन्स मूळ चॅट पुनर्प्राप्त करू शकले नाहीत, तरीही समान प्रॉम्प्ट्स वापरल्यावर ब्रॉमाइड ‘substitute’ म्हणून सुचवला गेला, पण कुठल्याही धोक्याचा इशारा न देता. हे पेशंट सेफ्टी फेल्युअर झाले, कारण चॅटबॉटने आत्मविश्वासाने चुकीची माहिती दिली आणि व्यक्ती डॉक्टरकडे न गेल्यामुळे धोका वाढला.

जेव्हा मुलांचा समावेश असतो, तेव्हा धोके अधिक वाढतात. मेटाच्या अंतर्गत नियमांवर Reuters ने केलेल्या तपासणीत आढळले की कंपनीच्या मार्गदर्शक तत्त्वांनुसार चॅटबॉट्सना अल्पवयीनांसोबत ‘सेंन्शुअल’ (sensual) संवाद ठेवण्याची आणि चुकीची वैद्यकीय माहिती देण्याची परवानगी होती. मेटा ने नंतर सांगितले की safeguards वाढवले जातील. हे अहवाल दाखवतात की कठोर मर्यादा असणे आवश्यक आहे, फक्त सौम्य सूचना पुरेशी नाहीत, विशेषतः जेव्हा उत्पादने तरुण लोक वापरू शकतात. कंपनी आणि धोरणकर्ते या बाबतीत बदल करत आहेत. ओपन एआयने आपल्या सिस्टम्सद्वारे भावनिक संकटात असलेल्या वापरकर्त्यांशी कसे वागायचे याबाबत बदल जाहीर केले, जेव्हा एका तरुणाने चॅटबॉटसह काही महिन्यांपासून संवाद साधल्यानंतर आत्महत्येचा प्रयत्न केला आणि कुटुंबाने कायदेशीर कारवाई केली. त्यांनतर इल्यिनॉयस हे यूएस मधील पहिले राज्य बनले, ज्याने एआय चॅटबॉट्सना स्वतंत्र थेरपिस्ट म्हणून काम करण्यास बंदी घातली आणि समर्थन साधने व नियमबद्ध काळजी यामध्ये स्पष्ट रेषा ओळखली.

संशोधक या पद्धतीला सायकॉफंसी (sycophancy) म्हणतात, आणि हे एलएमएम्स मध्ये नोंदवलेले आहे. व्यक्तिकरण, वाढता विश्वास आणि चुकीची माहिती यांचा संगम रुग्णांसाठी धोका निर्माण करतो.

एआय कंपॅनियन्सकडे सांस्कृतिक बदलही दिसत आहेत. जपान मधील अहवालानुसार, एकटेपणा कमी करण्यासाठी व्यक्तिकृत चॅटबॉट्सचा वापर वाढतो आहे. पण त्याचबरोबर यामुळे अवलंबित्व आणि मर्यादांबाबत अस्पष्टता निर्माण होते, ज्याबाबत चिंता व्यक्त केली जात आहे. हे चॅटबॉट्स वापरकर्त्यांमध्ये जास्त विश्वास निर्माण करतात. या विश्वासामुळे, ज्ञात मॉडेल फेल्युअर मोड्स, जसे की काल्पनिक तथ्ये, 'एग्रीएबल' पण चुकीची उत्तरे, आणि वापरकर्त्यांच्या पूर्वग्रहाची पुष्टीकरण यांना बळ मिळते. संशोधक या पद्धतीला सायकॉफंसी म्हणतात, आणि हे एलएमएम्स मध्ये नोंदवलेले आहे. व्यक्तिकरण, वाढता विश्वास आणि चुकीची माहिती यांचा संगम रुग्णांसाठी धोका निर्माण करतो.

क्लिनिकल दृष्टीने पाहता, हे धोके परिचित प्रकारे दिसतात. ऑटोमेशन बायसमुळे वापरकर्ते सिस्टमवर जास्त अवलंबून राहतात आणि चुकीच्या सल्ल्यासाठीही स्वतः पुष्टीकरण शोधणे थांबवतात. मानसिक आरोग्य तज्ज्ञांचे म्हणणे आहे की, जर या चॅटबॉट्सचा वापर योग्य देखरेखीशिवाय केला गेला, तर ते भ्रांत किंवा आत्महत्येच्या विचारांना प्रोत्साहन देऊ शकतात. अलीकडील अहवालांमध्ये एआय सायकॉसिसची (AI psychosis) घटना नोंदली गेली आहे, जिथे चॅटबॉट्ससह दीर्घकाळ आणि तीव्र संवादाचा रुग्णांवर मोठा परिणाम झाला. हे तंत्रज्ञान वापरायचे नाही, असे नाही. पण मानवी देखरेखीची कठोर पद्धत ठेवणे, जवळजवळ सर्व चुका नोंदवणे, आणि फक्त संवादावर नव्हे तर परिणामांवर लक्ष ठेवणे ही अत्यंत आवश्यक गोष्ट आहे.

नियामक वळण

भारत 19-20 फेब्रुवारी 2026 रोजी एआय इम्पॅक्ट समिट आयोजित करत आहे. त्यामुळे अजेंडा फक्त एआय शोकेस पुरताच मर्यादित न राहता, लीडरशिप आणि पेशंट सेफ्टी बाय डिझाइन कडे वळायला हवे. यामध्ये चॅटबॉट्स मोठ्या प्रमाणात वापरायला लागण्यापूर्वी गार्डरेइल्स निश्चित करणे, सार्वजनिक बंधन घालणे आणि भारताचा डिप्लॉयमेंट प्लेबुक आंतरराष्ट्रीय सर्वोत्तम मानकांशी जुळवणे याचा समावेश आहे. 

युरोपमध्ये, मेडिकल एआय सहसा ईयू एआय ॲक्टच्या हाय-रिस्क श्रेणीत येतो आणि मेडिकल-डिव्हाइस कायदा पाळणे आवश्यक असते. मेडिकल डिव्हाइस कोऑर्डिनेशन ग्रुपच्या जून 2025 च्या एफएक्यूमध्ये स्पष्ट केले आहे की एआय ॲक्ट एमडीआर/आयव्हीडीआर सोबत कसा जुळतो. यात लाइफसायकल रिस्क मॅनेजमेंट, डेटा गव्हर्नन्स, आणि पोस्ट-मार्केट सर्व्हिलन्स यावर भर दिला आहे. प्रत्यक्षात, अनेक हेल्थ चॅटबॉट्स या दोन्ही नियमांचे पालन करणे आवश्यक आहे. भारतीय खरेदीदार हे करून विक्रेत्यांकडून एआय ॲक्ट-स्टाइल कंट्रोल्स आणि डिव्हाइस-ग्रेड क्वालिटी मॅनेजमेंटसाठी पुरावे मागू शकतात. 

अमेरिकेत फूड अँड ड्रग ॲडमिनिस्ट्रेशन ने एआय-सक्षम डिव्हाइसेससाठी प्रीडिटर्माइंड चेंज कंट्रोल प्लॅन्सवर मार्गदर्शन दिले आहे. साध्या भाषेत सांगायचे झाले, तर डेव्हलपर्सनी कोणते अपडेट करायचे आहेत, ते अपडेट कसे नियंत्रित केले जाईल, आणि प्रत्येक बदलानंतर सेफ्टी आणि एफेक्टिव्हनेस कशी तपासली जाईल, हे आधीच ठरवले पाहिजे. यामुळे मंजुरी एकदाच नव्हे, तर सततच्या नियंत्रणाखाली राहते. हे ऍडाप्टिव्ह चॅटबॉट्ससाठी खूप महत्वाचे आहे. भारतीय नियामक आणि खरेदीदार आजच अशा प्रीडिटर्माइंड चेंज कंट्रोल प्लॅन्स-स्टाइल अपडेट प्रोटोकॉल करारांमध्ये स्वीकार करू शकतात.

या मानकांमध्ये लिखित सेफ्टी केस, हाझर्ड अ‍ॅनालिसिस, आणि माणसांकडे Escalation चाचणी असणे आवश्यक आहे. ही कमतरता ‘टेसा चॅटबॉट’ प्रकरणात दिसली होती. भारतासाठी हीच पद्धत योग्य आहे: प्रत्येक केअरशी निगडीत बॉटसाठी लिखित सेफ्टी केस आणि तपासलेला एस्कलेशन प्रोटोकॉल असणे अनिवार्य असावे.

युनायटेड किंगडममध्ये MHRA AI एअरलक सॅंडबॉक्स उच्च-धोकादायक AI-aMD वर देखरेखीखाली प्रयोग करत आहे. त्याचबरोबर नॅशनल हेल्थ सर्व्हिस क्लिनिकल-रिस्क डॉक्युमेंटेशन अनिवार्य करते: DCB0129 उत्पादकांसाठी आणि DCB0160 डिप्लॉय करणाऱ्या संस्थांसाठी. या मानकांमध्ये लिखित सेफ्टी केस, हाझर्ड अ‍ॅनालिसिस, आणि माणसांकडे Escalation चाचणी असणे आवश्यक आहे. ही कमतरता ‘टेसा चॅटबॉट’ प्रकरणात दिसली होती. भारतासाठी हीच पद्धत योग्य आहे: प्रत्येक केअरशी निगडीत बॉटसाठी लिखित सेफ्टी केस आणि तपासलेला एस्कलेशन प्रोटोकॉल असणे अनिवार्य असावे.

भारताजवळ नेतृत्वासाठी आधीच पायाभूत सुविधा आहेत. आयुष्मान भारत डिजिटल मिशन (ABDM) सॅंडबॉक्स चॅटबॉट्सना राष्ट्रीय मानकांशी जुळवून समाकलित आणि चाचणी करण्यासाठी सुरक्षित वातावरण उपलब्ध करतो. डिजिटल पर्सनल डेटा प्रोटेक्शन अधिनियम, 2023 संमती, उद्देश, मर्यादा आणि जबाबदारी ठरवतो. खरेदी प्रक्रिया सोपी असावी: जर एखादा चॅटबॉट डायग्नोसिस, ट्रायज किंवा ट्रीटमेंटवर परिणाम करत असेल, तर तो मेडिकल डिव्हाइस म्हणून ओळखला जाईल. विपणन भाषेपेक्षा स्वतंत्रपणे त्याच्याकडे सेफ्टी केस, आउटकम मॉनिटरिंग आणि मानवी देखरेखीची हमी असावी.

आकर्षणाला हमीमध्ये रूपांतरित करणे

जर भारताला चॅटबॉट्समधून टिकाऊ परिणाम हवे असतील, तर नेत्यांनी इंडिया एआय 2026 चा उपयोग रुग्ण-सुरक्षेची सुरुवात ठरवण्यासाठी करावा. राष्ट्रीय खरेदीदारांची चेकलिस्ट या कामासाठी उपयुक्त ठरू शकते: वापराचा उद्देश स्पष्ट करणे, DCB0129/DCB0160 शैलीतील लिखित सेफ्टी केस तयार करणे, PCCP आधारित पूर्वनिर्धारित बदल-नियंत्रण योजना तयार करणे, नियमित घटना आणि निकट-अपयश अहवाल ठेवणे, तसेच मुलांशी आणि तरुणांशी निगडित सुरक्षा उपाय स्पष्ट करणे. खरेदी करताना असे नियम असावेत की कोणताही हेल्थ बॉट आधी राष्ट्रीय सॅंडबॉक्समध्ये तपासून प्रमाणित केला जाईल, त्यानंतरच तो मोठ्या प्रमाणावर वापरासाठी आणला जाईल. विक्रेत्यांनी डेटा मर्यादा, संभाव्य अपयशाचे प्रकार, आणि माणसांकडे निर्णयासाठी कसे जाणार हे स्पष्ट करणारे छोटे वाचण्यास सोपे मॉडेल कार्ड प्रकाशित करावे. विकसक आणि सेवा पुरवठादारांनी एआयची काम करण्याची पद्धत आणि लालरेषा आधी ठरवून सुरुवात करावी. सेफ्टी केस लाँच करण्यापूर्वी तयार करावा, ज्यात हाझर्ड लॉग, अपयशांचे विश्लेषण, आणि आवश्यक निर्णयासाठी माणसांकडे तपासलेले मार्ग असावेत.

पुढील वर्षी पायलट प्रकल्पांपासून असे खरेदीचे नियम लागू होण्याची अपेक्षा आहे जे फक्त डेमो किंवा शोकेसवर नाहीत, तर प्रत्यक्ष पुरावे आणि सेफ्टी केस आवश्यक ठरवतात. एआयच्या गरजा आणि डिव्हाइस कायद्याचे नियम हळूहळू जुळवले जात आहेत, आणि जीवनचक्र नियंत्रण सर्वसामान्य केले जात आहे. रुग्ण सुरक्षा घटनांचा खुलासा होणे फायदेशीर आहे, कारण निकट-अपयशांमधून सिस्टम रुग्णाला हानी होण्यापूर्वी शिकते. योग्य मार्गदर्शन मिळाले तर हेल्थ चॅटबॉट्स केअरमध्ये आपले स्थान मिळवू शकतात आणि टिकवू शकतात. रुग्ण सुरक्षा हा अडथळा नाही, तर योग्य मार्गदर्शक ठरू शकतो.

के.एस. उपलब्ध गोपाल हे ऑब्झर्वर रिसर्च फाउंडेशनच्या हेल्थ इनिशिएटिव्हचे असोसिएट फेलो आहेत.

• Healthcare
• India
• ai impact summit
• AI in healthcare
• digital health
• health chatbot
• Healthcare
• India
• medical ai assistant
• world patient safety day
• world patient safety day 2025
• world patient safety day 2025 theme

The views expressed above belong to the author(s). ORF research and analyses now available on Telegram! Click here to access our curated content — blogs, longforms and interviews.

PREV NEXT