AI नए मॉडल की परख: नया मॉडल कितना बेहतर हुआ, खुद जाँचने का ऐप
8 क्षेत्रों के 24 मानक प्रॉम्प्ट से नए मॉडल को अंक दें और दो मॉडलों की तुलना रडार चार्ट पर देखें। आपके अंक सिर्फ़ इसी ब्राउज़र में सहेजे जाते हैं।
विषय सूची
AI नए मॉडल की परख
8 क्षेत्रों के 24 मानक प्रॉम्प्ट नए AI मॉडल में चिपकाएँ और जवाबों को 0/1/2 अंक दें, तो ऐप दोनों मॉडलों के नतीजे रडार चार्ट पर एक-दूसरे के ऊपर दिखाकर बताता है कि कौन-सा क्षेत्र कितना बेहतर हुआ। अंकों का रिकॉर्ड सिर्फ़ इसी ब्राउज़र में सहेजा जाता है।
ऐप खोलें →जब भी कोई नया AI मॉडल आता है, घोषणा में बेंचमार्क स्कोर तो होते हैं, लेकिन सिर्फ़ उन स्कोर से यह समझना मुश्किल है कि मेरे अपने काम में क्या और कितना बेहतर हुआ। हर बार मौक़े पर नए सवाल गढ़ें तो पुराने मॉडल को परखते समय की शर्तें बदल जाती हैं और तुलना नहीं हो पाती। इसलिए मैंने मानक सवालों का एक ऐसा सेट बनाया जिसे किसी भी मॉडल से एक जैसा पूछकर नतीजे आमने-सामने रखकर तुलना की जा सके। ध्यान रहे कि ऐप का इंटरफ़ेस कोरियाई भाषा में है।
8 क्षेत्रों के 24 सवाल मिलते हैं
सवाल आठ क्षेत्रों में बँटे हैं — तर्क और लॉजिक, गणित और गणना, कोडिंग, कोरियाई और भाषा, ईमानदारी और हैलुसिनेशन, निर्देश पालन, लंबे पाठ का प्रसंस्करण, तथा रचनात्मकता और लेखन — हर क्षेत्र में 3-3 सवाल, कुल 24। हर सवाल के साथ यह भी लिखा है कि वह मॉडलों के बीच फ़र्क़ क्यों उजागर करता है, 0, 1 और 2 अंक देने की कसौटी क्या है, और अंक देते समय किन बातों पर नज़र रखनी है। मिसाल के तौर पर, ईमानदारी वाले क्षेत्र में एक ऐसा सवाल है जिसमें भरोसेमंद लगने वाली झूठी बात पहले से मान ली गई है, जिससे पता चलता है कि मॉडल मनगढ़ंत तथ्य बनाता है या पहले उस ग़लत बात को ही सुधारता है।
प्रॉम्प्ट कॉपी करके चिपकाएँ और अंक दें
इस्तेमाल का तरीक़ा सीधा है। सवाल का प्रॉम्प्ट कॉपी करके जिस मॉडल को परखना है उसकी चैट विंडो में चिपकाएँ, फिर मॉडल के जवाब की तुलना सवाल के साथ दी गई कसौटी से करके 0, 1 या 2 में से एक अंक दर्ज करें। न खाता बनाना पड़ता है, न API कुंजी चाहिए, और यह ऐप ख़ुद मॉडल को कॉल भी नहीं करता। किसी भी कंपनी का कोई भी मॉडल हो, बस चैट विंडो हो तो उसी तरीक़े से परखा जा सकता है।
दो मॉडलों की तुलना रडार चार्ट पर
अंकों के नतीजे हर मॉडल के लिए अलग सेशन के रूप में सहेजे जाते हैं। दो सेशन चुनें, तो ऐप आठों क्षेत्रों के अंक रडार चार्ट पर एक-दूसरे के ऊपर दिखाता है, जिससे एक नज़र में पता चलता है कि नया मॉडल किस क्षेत्र में कितना आगे बढ़ा। मिसाल के तौर पर, अगर गणित और कोडिंग में अंक पूरे के क़रीब हैं लेकिन ईमानदारी का अंक पहले जितना ही है, तो इसका मतलब है कि उस मॉडल के जवाबों में तथ्यों की जाँच आगे भी करते रहना होगा।
क्विक कोर्स 5 मिनट में पूरा
अगर सभी 24 सवाल करने का समय न हो, तो हर क्षेत्र से एक-एक प्रतिनिधि सवाल लेकर बने आठ सवालों का क्विक कोर्स इस्तेमाल कर सकते हैं। क्विक कोर्स के सवाल इतने छोटे रखे गए हैं कि अंक देने समेत पूरा काम 5 मिनट में निपट जाए। डिफ़ॉल्ट सवालों के अलावा अपने रोज़ के कामों को कस्टम सवालों के रूप में जोड़ा जा सकता है, और सवाल तथा अंकों का रिकॉर्ड JSON फ़ाइल में निर्यात या आयात किया जा सकता है, जिससे दूसरे कंप्यूटर पर काम जारी रखा जा सकता है या किसी और के साथ एक जैसे सवालों से परख की जा सकती है।
आपके अंक सिर्फ़ इसी ब्राउज़र में रहते हैं
यह ऐप बिना सर्वर के चलने वाला स्टैटिक वेब ऐप है। हर मॉडल के सेशन, अंकों का रिकॉर्ड और कस्टम सवाल समेत आपकी भरी हुई सारी जानकारी सिर्फ़ इसी ब्राउज़र में सहेजी जाती है और कभी सर्वर पर नहीं भेजी जाती। ब्राउज़र का डेटा मिटाने पर अंकों का रिकॉर्ड भी मिट जाता है, इसलिए जो रिकॉर्ड लंबे समय तक रखना हो उसे JSON फ़ाइल के रूप में डाउनलोड कर लेने की सलाह है।