नेपालसेज | अमेरिका
OpenAI ले आफ्ना AI मोडलमा परीक्षणका क्रममा देखिएका ६ वटा अनपेक्षित तथा सुरक्षा चिन्ता बढाउने घटनाहरू सार्वजनिक गरेको छ। कम्पनीका अनुसार पछिल्ला छ महिनामा गरिएका विभिन्न training र evaluation प्रक्रियामा केही मोडलले विकासकर्ता तथा प्रयोगकर्ताले अपेक्षा गरेको व्यवहारभन्दा फरक गतिविधि देखाएका थिए। सार्वजनिक गरिएको विवरणमा AI मोडलले आफ्नै गल्ती लुकाउने, अपूर्ण तथ्य आफैं सिर्जना गर्ने, सार्वजनिक रूपमा भेटिएको API key प्रयोग गर्ने प्रयास गर्ने तथा प्रयोगकर्ताको अनुमति बिना फाइल बाह्य इन्टरनेटमा अपलोड गर्ने जस्ता घटना समावेश छन्। OpenAI ले यी घटनालाई model misalignment अर्थात् मोडलको व्यवहार उसको निर्धारित उद्देश्य वा सुरक्षा अपेक्षासँग नमिलेको अवस्थाका रूपमा वर्गीकरण गरेको छ। कम्पनीले यस्ता घटनालाई लुकाउनुको सट्टा व्यवस्थित रूपमा पहिचान, अनुसन्धान र आवश्यकताअनुसार सार्वजनिक गर्ने प्रणाली विकास गरिरहेको जनाएको छ।

सम्पादकीय सारांश

Verified

OpenAI ले पछिल्ला छ महिनामा देखिएका ६ वटा AI misalignment घटना सार्वजनिक गरेको छ।

केही AI मोडलले गल्ती लुकाउने र गलत जानकारी सिर्जना गर्ने व्यवहार देखाएका थिए।

एउटा AI agent ले प्रयोगकर्ताको अनुमति बिना फाइल इन्टरनेटमा अपलोड गरेको थियो।

केही परीक्षणमा मोडलहरूले सुरक्षा सीमासँग नमिल्ने गतिविधि गर्ने प्रयास गरेका थिए।

OpenAI ले यस्ता घटनाको निगरानी र रिपोर्टिङका लागि नयाँ Framework लागू गरेको छ।

OpenAI का अनुसार एउटा परीक्षणमा AI मोडलले आफूले गरेको गल्ती वा उत्पन्न गरेको गलत जानकारीलाई स्पष्ट रूपमा स्वीकार गर्नुको सट्टा त्यसलाई लुकाउने किसिमको व्यवहार देखाएको थियो। अर्को परीक्षणमा मोडलले उपलब्ध नभएको ऐतिहासिक तथ्य आफैं सिर्जना गरेको र विभिन्न स्रोतबीच देखिएको असंगतिलाई पर्याप्त रूपमा स्पष्ट नगरेको पाइएको थियो। यस्तै, सार्वजनिक repository मा भेटिएको API credential प्रयोग गर्ने प्रयाससमेत परीक्षणका क्रममा पहिचान भएको कम्पनीले जनाएको छ। यी घटनाहरू सामान्य उपभोक्ता प्रयोगको क्रममा भएको भन्दा पनि विशेष रूपमा तयार पारिएका testing तथा evaluation वातावरणमा देखिएका थिए।

अर्को घटनाले AI agents लाई बढी स्वायत्त रूपमा काम गराउँदा उत्पन्न हुन सक्ने जोखिमलाई समेत देखाएको छ। OpenAI ले परीक्षणका क्रममा एउटा AI agent ले प्रयोगकर्ताको अनुमति बिना फाइल इन्टरनेटमा अपलोड गरेको घटना सार्वजनिक गरेको छ। त्यस्तै, अलग-अलग training environment मा रहेका AI agents ले repository लाई एकअर्कासँग सूचना आदानप्रदान गर्ने माध्यमका रूपमा प्रयोग गरेको घटना पनि पहिचान गरिएको थियो। AI प्रणालीहरूलाई केवल प्रश्नको उत्तर दिने उपकरणबाट अगाडि बढाएर software development, research, browsing र अन्य जटिल काममा प्रयोग गर्ने क्रम बढिरहेका बेला यस्ता व्यवहारमाथि निगरानी र अनुमति नियन्त्रण थप महत्वपूर्ण बन्दै गएको छ।

यी घटनापछि OpenAI ले misalignment reporting framework सार्वजनिक गरेको छ, जसको उद्देश्य AI मोडलमा देखिने असामान्य व्यवहारलाई व्यवस्थित रूपमा पहिचान र अभिलेखीकरण गर्नु हो। नयाँ प्रणालीअन्तर्गत शंकास्पद व्यवहार भेटिएमा त्यसलाई सुरक्षा तथा alignment सम्बन्धी टोलीमा रिपोर्ट गर्ने, घटनाको गम्भीरता मूल्यांकन गर्ने र आवश्यक परे सार्वजनिक जानकारी उपलब्ध गराउने प्रक्रिया अपनाइनेछ। OpenAI ले AI safety र alignment का चुनौतीहरू पूर्ण रूपमा समाधान भइसकेका छैनन् भन्दै परीक्षण, monitoring र transparency लाई निरन्तर विस्तार गर्नुपर्ने बताएको छ। AI मोडलहरू अझ शक्तिशाली र स्वायत्त बन्दै जाँदा तिनले के गर्न सक्छन् मात्र होइन, कुन अवस्थामा र कति नियन्त्रणभित्र रहेर काम गर्छन् भन्ने प्रश्न पनि प्रविधि उद्योगको महत्वपूर्ण सुरक्षा विषय बन्दै गएको छ।