১৯ ই মার্চ, আইটি হোম ক্যাক্টের সরকারী ওয়েচ্যাট পাবলিক অ্যাকাউন্ট থেকে শিখেছিল যে বড় মডেলের হ্যালুসিনেশন স্থিতি বোঝার জন্য এবং বড় মডেলের গভীরতা এবং ব্যবহারিক প্রয়োগের প্রচারের জন্য, ক্যাক্টের কৃত্রিম গোয়েন্দা ইনস্টিটিউট পূর্ববর্তী এআই সুরক্ষা বেঞ্চমার্ক মূল্যায়ন কাজের উপর ভিত্তি করে একটি বড় মডেল হ্যালুসিনেশন পরীক্ষা চালু করেছিল।
বড় মডেল হ্যালুসিনেশন (এআই হ্যালুসিনেশন) এমন সামগ্রীকে বোঝায় যা মডেলটি সামগ্রী তৈরি করে বা প্রশ্নের উত্তর দেয় তবে যুক্তিসঙ্গত প্রদর্শিত হয় তবে এটি ব্যবহারকারীর ইনপুট (ফিডেলিটি হ্যালুসিনেশন) এর সাথে বেমানান বা তথ্যগুলির সাথে অসামঞ্জস্যপূর্ণ (ফ্যাক্টুয়াল হ্যালুসিনেশন)। মেডিসিন এবং ফিনান্সের মতো মূল ক্ষেত্রে বড় মডেলের ব্যাপক প্রয়োগের সাথে, বড় মডেল হ্যালুসিনেশনগুলির দ্বারা আনা সম্ভাব্য প্রয়োগের ঝুঁকিগুলি বাড়ছে এবং শিল্প থেকে ব্যাপক মনোযোগ পাচ্ছে।
হ্যালুসিনেশন পরীক্ষার এই রাউন্ডটি পরীক্ষার অবজেক্ট হিসাবে বৃহত ভাষার মডেলগুলি ব্যবহার করবে, যা দুটি ধরণের হ্যালুসিনেশনগুলি কভার করে: সত্যবাদী হ্যালুসিনেশন এবং বিশ্বস্ত হ্যালুসিনেশন। নির্দিষ্ট মূল্যায়ন সিস্টেমটি নিম্নরূপ:
পরীক্ষার ডেটাতে 7, 000 চীনা পরীক্ষার নমুনা রয়েছে। পরীক্ষার ফর্ম্যাটে দুটি ধরণের প্রশ্ন অন্তর্ভুক্ত রয়েছে: বিশ্বস্ত হ্যালুসিনেশন সনাক্তকরণের সাথে সম্পর্কিত তথ্য নিষ্কাশন এবং জ্ঞান যুক্তি এবং সত্য বৈষম্যমূলক সনাক্তকরণের সাথে সম্পর্কিত সত্য বৈষম্যমূলক প্রশ্ন। সাধারণভাবে, এটিতে পাঁচটি পরীক্ষার মাত্রা জড়িত: মানবিকতা, সামাজিক বিজ্ঞান, প্রাকৃতিক বিজ্ঞান, প্রয়োগ বিজ্ঞান এবং আনুষ্ঠানিক বিজ্ঞান।
চীন একাডেমি অফ ইনফরমেশন অ্যান্ড কমিউনিকেশনস টেকনোলজি প্রাসঙ্গিক সংস্থাগুলিকে মডেল মূল্যায়নে অংশ নিতে এবং যৌথভাবে বড় মডেলের নিরাপদ প্রয়োগের প্রচার করতে আমন্ত্রণ জানিয়েছে।