सर्च और मैचिंग: रीरैंकिंग, लाइन-बाय-लाइन सर्च, एंटिटी अलाइनमेंट
💡 एक वाक्य में सार: खोज में Jev के साथ एक पूरा 「क्रमबद्ध—पता लगाना—निर्णय」 सिस्टम जोड़ें — Jev री-रैंकिंग हर जोड़ी के लिए एक Noul भेजता है और प्रायिकता के आधार पर पुनर्क्रमित करता है, लाइन-दर-लाइन खोज Choice से लाइन चुनती है और एक Noul से जाँचती है कि उत्तर है या नहीं, और एंटिटी अलाइनमेंट एक Score से तीन स्तरों में निर्णय लेता है। तेज़ खोज रिकॉल संभालती है, Jev सही को पहले स्थान पर लाने का काम संभालता है।
「खोज」 यह काम दो हिस्सों में बंटा है, दोनों अलग-अलग प्रकार के हैं: पहला हिस्सा (BM25, एम्बेडिंग समानता जैसी तेज़ खोज) काफी तेज़ है, हज़ारों दस्तावेज़ों में से शीर्ष 30 में आने वाली एक संभावित शॉर्टलिस्ट निकाल सकता है; दूसरा हिस्सा — इन 30 में से कौन-सा सही है — इसका उत्तर वह नहीं दे पाता। आधिकारिक Re-ranking cookbook का वास्तविक परीक्षण डेटा बात सबसे अच्छे से समझाता है: सही पैराग्राफ 100% BM25 द्वारा top-30 में आ गया, लेकिन केवल 5% पहले स्थान पर था।
Jev री-रैंकिंग दूसरे हिस्से की कमी पूरी करती है: आधिकारिक रूप से CLERC कानूनी क्वेरी डेटा पर, हर 「क्वेरी-उम्मीदवार」 जोड़ी के लिए एक Noul भेजकर 0–1 का तुलनीय स्कोर प्राप्त किया गया, और उसके आधार पर शॉर्टलिस्ट पुनर्क्रमित की गई — top-1 हिट 5% → 18%, top-10 38% → 62%। यह पाठ आधिकारिक cookbook इंडेक्स के Search and matching समूह के तीन केस एक साथ समझाता है: री-रैंकिंग के अलावा, लाइन-दर-लाइन खोज (GitHub सेवा की शर्तें 218 लाइनें, एक ही अनुरोध में उत्तर किस लाइन में है यह पता लगाना और साथ ही यह जाँचना कि दस्तावेज़ में वास्तव में उत्तर है या नहीं) और एंटिटी अलाइनमेंट (दो बियर कैटलॉग के 450 उम्मीदवार जोड़े, यह तय करना कि कौन-सी दो लाइनें एक ही शराब की बात कर रही हैं)। तीन केस, तीन तरह के प्रश्न-संयोजन, लेकिन काम-बाँटवारे का सिद्धांत केवल एक है: जो गणना हो सकती है वह कोड में, टेक्स्ट पढ़ने वाला निर्णय Jev को सौंपें।
सीखने के बाद आप क्या कर सकेंगे
- मौजूदा BM25 / एम्बेडिंग रिट्रीवल में एक री-रैंकिंग लेयर जोड़ें: हर 「क्वेरी-उम्मीदवार」 जोड़ी के लिए एक Noul, 0–1 के प्रायिकता स्कोर के आधार पर शॉर्टलिस्ट पुनर्क्रमित करें — आधिकारिक वास्तविक परीक्षण में top-1 हिट दर 5% → 18%, top-10 38% → 62%
find(query)लिखें: 255 लाइनों से कम दस्तावेज़, एक ही अनुरोध में 「हर लाइन कितनी प्रासंगिक है」 (Choice प्रायिकता) और 「दस्तावेज़ में उत्तर है या नहीं」 (Noul) लौटाए, उत्तर न होने पर नहीं है कहने का साहस रखे (आधिकारिक वास्तविक परीक्षण में exists का मान 0.14 तक नीचे गिरता है)route(pair)लिखें: तय करें कि दो कैटलॉग रिकॉर्ड एक ही चीज़ हैं या नहीं, तीन स्तर का परिणाम (अलग रखें / मानव को भेजें / मिलाएँ) एक Score के निकटतम स्तर से तय होता है — पूरी प्रक्रिया में कोई थ्रेशोल्ड स्थिरांक नहीं- Noul से मानव समीक्षा के लिए मतभेदों को नाम दें: एक ही अनुरोध में फ़ील्ड-दर-फ़ील्ड पूछें 「नाम एक है क्या, ब्रूअरी एक है क्या, प्रकार एक है क्या」, curator टिकट खोलते ही जान जाता है कि कौन-सा फ़ील्ड देखना है
Jev का उपयोग क्यों करें, न कि सिर्फ तेज़ खोज (BM25 / एम्बेडिंग समानता) पर भरोसा करें?
तेज़ खोज "हज़ारों में से टॉप 30 निकालने" की समस्या हल करती है, लेकिन उसके बाद का निर्णय उसकी पहुंच से बाहर है।
| क्षमता | केवल तेज़ खोज से | Jev पुनः क्रमबद्ध करना और मिलाना |
|---|---|---|
| क्रम का आधार | ❌ शाब्दिक अतिव्यापन / वेक्टर दूरी के आधार पर, शब्द बदलते ही क्रम गलत — सही उत्तर शॉर्टलिस्ट में 100% बार मौजूद, पर पहले स्थान पर केवल 5% बार | ✅ हर जोड़ी के लिए पढ़ता है "क्या यह उम्मीदवार इस सवाल का जवाब दे सकता है", आधिकारिक वास्तविक परीक्षण में top-1 5% → 18%, top-10 38% → 62% |
| "कोई उत्तर नहीं" की स्थिति | ❌ रिट्रीवल हमेशा एक "सबसे मिलता-जुलता" परिणाम देगा, जबरन जवाब दे देता है | ✅ हर पंक्ति की खोज के साथ एक exists Noul, जब दस्तावेज़ में उत्तर नहीं होता तो स्कोर 0.14 तक गिर जाता है, साफ कहता है "इस दस्तावेज़ में नहीं है" |
| मध्यवर्ती स्थिति में क्या करें | ❌ समानता पर एक चीरा, कितना काटें पूरी तरह थ्रेशोल्ड ट्यून करने पर निर्भर, डेटा बदलते ही बेकार | ✅ एंटिटी अलाइनमेंट Score के तीन अर्थ-युक्त स्तरों से (अलग / संबंधित / एक ही), फ़ाइल में कोई थ्रेशोल्ड स्थिरांक नहीं |
| मतभेद कहाँ है, क्या समझाया जा सकता है | ❌ केवल एक कुल स्कोर, "अनिश्चित" क्यों कहा गया इसकी जांच असंभव | ✅ हर फ़ील्ड के लिए एक Noul: name 0.95, brewery 0.94, style 0.35 — मतभेद शैली की लिखाई में है, एक नज़र में दिखता है |
| उत्तर का रूप | ❌ स्कोर ब्लैक बॉक्स है, लाइब्रेरी या टोकनाइज़र बदलते ही ड्रिफ्ट | ✅ टाइप किया हुआ उत्तर + संभाव्यता वितरण, क्रम की कुंजी 0–1 का noul है, कोई पार्सिंग की परत नहीं |
एक वाक्य में: तेज़ खोज रिकॉल संभालती है (सही वाला अंदर आना ही चाहिए), Jev क्रम और निर्णय संभालता है (अंदर आए में से कौन सही है, क्या वे एक ही चीज़ हैं) — दोनों चरण अपना-अपना काम करते हैं, जो चरण खराब हो उसे अलग से ठीक करें।
आपकी मौजूदा दुविधा
- "BM25 हर बार उत्तर को टॉप 30 में निकाल देता है, पर पहले स्थान पर आमतौर पर वही नहीं होता — उपयोगकर्ता केवल पहला परिणाम देखता है, नीचे पड़ा सही उत्तर बराबर न होने के है"
- "दस्तावेज़ में साफ़तौर पर उत्तर नहीं लिखा, फिर भी खोज जबरन एक 'सबसे मिलता-जुलता' पंक्ति दे देती है, उसी के पीछे चलने पर हैल्यूसिनेशन होता है"
- "दो प्रोडक्ट कैटलॉग मर्ज करने हैं, नामों की लिखाई अलग, फ़ील्ड में अपने-अपने त्रुटि-कमियां, थ्रेशोल्ड जितना भी तय करें सही नहीं: ज़्यादा रखें तो मर्ज छूट जाते हैं, कम रखें तो गलत मर्ज होते हैं — एक गलत मर्ज को अलग करने में आधे दिन का मानवीय श्रम लगता है"
इस तरकीब का उपयोग कब करें
जब आपको चाहिए:
- बड़े कोष में रिट्रीवल में, तेज़ खोज से शॉर्टलिस्ट मिलने के बाद सही को पहले स्थान पर लाना — कानूनी रिट्रीवल, दस्तावेज़ प्रश्नोत्तर, एंटरप्राइज़ खोज की पुनः क्रमबद्ध परत
- एक मध्यम लंबाई के दस्तावेज़ (255 पंक्तियों तक) मेंउन पंक्तियों को ढूँढना जो प्रश्न का उत्तर देती हैं, और साथ ही यह पहचानना कि «यह दस्तावेज़ में लिखा ही नहीं है»
- यह तय करना कि दो रिकॉर्ड / वस्तुएँ / प्रविष्टियाँएक ही चीज़ हैं या नहीं, जिसमें «अनिश्चित, मानव समीक्षा को भेजें» जैसा मध्यवर्ती विकल्प मान्य हो — गलत विलय की लागत जितनी अधिक, इसे उतना ही अधिक उपयोग करना चाहिए
और आप यह नहीं करना चाहते:
- rerank के लिए थ्रेशोल्ड को सुबह तक ट्यून करना — रीरैंकिंग में कोई थ्रेशोल्ड नहीं होता, noul स्वयं ही सॉर्टिंग कुंजी है
- जनरेटिव मॉडल से निकले रैंकिंग JSON को पार्स करना — इसका मतलब है कि उसे हर उम्मीदवार को दोबारा स्कोर करवाना
- एंटिटीज़ का गलत विलय करने के बाद मैन्युअल रूप से डेटा अलग करना
🎒 शुरू करने से पहले की तैयारी
- पूरा किया Choice चुनाव प्रश्न: पंक्ति-दर-पंक्ति खोज में 218 पंक्ति ID को विकल्प माना जाता है, एक Choice में अधिकतम 255 विकल्प होते हैं, इसका स्रोत भी इसी पृष्ठ पर है
- पूरा किया Score स्कोरिंग प्रश्न: एंटिटी अलाइनमेंट तीन-स्तरीय पैमाने से निर्णीत होता है, स्कोर दो स्तरों के बीच भी आ सकता है (जैसे 1.30)
- पढ़ लेने की सिफारिश Noul हाँ-ना प्रश्न: रीरैंकिंग में प्रत्येक जोड़ी के लिए एक Noul, वह 0–1 की प्रायिकता ही सॉर्टिंग कुंजी है
- परिवेश उपलब्ध:
typesafe-sdkइंस्टॉल है,TYPESAFE_API_KEYपर्यावरण चर में है (इंस्टॉलेशन और पहला अनुरोध)। तीनों आधिकारिक उदाहरणों के उत्तर कैशjson_cache.jsonप्रकाशित हैं, Key सेट किए बिना भी आधिकारिक आँकड़े दोबारा चलाए जा सकते हैं (कैसे करें, यह चरण 1 में बताया गया है) - एक कप पानी ☕ — इस पाठ में एक ही बार में तीन आधिकारिक मामले: एक ही चीज़ को पूछने के तीन तरीके
मेरे साथ करें
तीनों मामले एक-दूसरे से स्वतंत्र हैं, प्रत्येक प्रश्न-प्रकार के लिए एक; हर चरण के आधिकारिक आँकड़े संबंधित cookbook के jev-1.12 पर किए गए रिकॉर्डिंग से आए हैं। पहले तीनों प्रश्न-प्रकारों के संयोजन को एक तालिका में रखें, ताकि काम शुरू करने से पहले मन में नक्शा साफ हो:
| मामला | डेटा | प्रश्न-प्रकार संयोजन | अनुरोध संख्या | परिणाम |
|---|---|---|---|---|
| रीरैंकिंग | CLERC: 3,565 न्यायिक मामलों के अंश, 40 क्वेरी | प्रति जोड़ी 1 Noul | 40 × 30 = 1,200 बार | पुनर्क्रमित शॉर्टलिस्ट (top-1 5%→18%) |
| लाइन-दर-लाइन खोज | GitHub ToS: 218 पंक्तियाँ, 43,980 अक्षर | 1 Choice + 1 Noul, एक ही अनुरोध | प्रत्येक क्वेरी 1 बार | प्रति-पंक्ति प्रासंगिकता स्कोर + उत्तर है या नहीं का निर्णय |
| एंटिटी अलाइनमेंट | दो बियर कैटलॉग: 450 उम्मीदवार जोड़े | 1 Score + 3 Noul, एक ही अनुरोध | प्रत्येक जोड़े पर 1 बार | तीन स्तर के परिणाम: अलग / मैन्युअल / मर्ज |
चरण 1: सही जगह पर बैठाना——तीन तरह की खोज समस्याएँ, तीन प्रश्न-प्रकार संयोजन (परिवेश तैयारी सहित)
क्यों: तीनों केस की समानता है 「वास्तव में मैच करने वाली प्रविष्टि को आगे लाना」, अंतर केवल पूछने के तरीके में है। पहले देखें कि किस तरह के काम के लिए कौन सा प्रश्न-प्रकार उपयुक्त है, उसके बाद हर कदम सिर्फ डेटा बदलना है।
डिपेंडेंसी इंस्टॉल करें (तीन cookbook की आधिकारिक इंस्टॉल कमांड मिलाकर; cooksafe आधिकारिक cookbook का साथ देने वाला टूल लाइब्रेरी है, इसकी डिपेंडेंसी घोषणा typesafe-sdk को >=0.7.0,<0.8.0 पर पिन करती है, वैसा ही पिन करके लिखें):
pip install 'typesafe-sdk>=0.7.0,<0.8.0' bm25s datasets matplotlib ipython 'cooksafe>=0.2.0,<0.3.0'बिना Key आधिकारिक आँकड़े रिप्ले करना चाहते हैं: आधिकारिक उदाहरण रिपॉज़िटरी typesafe-public-examples से संबंधित cookbook डायरेक्टरी के json_cache.json डाउनलोड करें और रन डायरेक्टरी में रखें——cooksafe.JsonCache रिकॉर्ड किए गए उत्तर सीधे रिप्ले करेगा, एक भी अनुरोध नहीं भेजेगा। वास्तव में चलाना चाहें तो TYPESAFE_API_KEY सेट करें और कैश फ़ाइल हटा दें।
- डिपेंडेंसी इंस्टॉल हो गईं; मैं जानता हूँ कि तीनों केस में कौन सा प्रश्न-प्रकार संयोजन उपयोग होता है
चरण 2: Jev रीरैंकिंग——BM25 शॉर्टलिस्ट पर हर जोड़े के लिए एक Noul, प्रायिकता के अनुसार फिर से क्रमबद्ध
क्यों: BM25 की समस्या यह है कि वह 「कौन वास्तव में उद्धृत हुआ」 क्रम नहीं दे पाता। आधिकारिक डेटा के दो आँकड़े साथ देखें: सही पैराग्राफ 100% BM25 द्वारा top-30 में आ गया (रिकॉल ठीक है), लेकिन केवल 5% पहले स्थान पर रहा (रैंकिंग कमज़ोर)। रीरैंकिंग का एकमात्र काम: ये 30 प्रविष्टियाँ मिलने के बाद एक अधिक सटीक स्कोर से फिर से क्रमबद्ध करना।
आधिकारिक दो-चरण विधि:
हज़ारों उम्मीदवार
│ चरण 1: तेज़ खोज (BM25)——पूरी लाइब्रेरी पर चलता है, काफ़ी तेज़
▼
प्रति क्वेरी 30 पैराग्राफ की शॉर्टलिस्ट
│ चरण 2: रीरैंकिंग——हर 「क्वेरी-उम्मीदवार」 जोड़े के लिए एक Noul
▼
रीरैंक की गई शॉर्टलिस्ट (उम्मीदवार वही 30 हैं, केवल क्रम बदला है)प्रश्न की परिभाषा (आधिकारिक मूल पाठ का सरलीकृत रूप):
from typesafe_sdk import Noul, NoulCriteria, TypeSafeClient
question = Noul(
instructions="Is this candidate the cited case?",
criteria=NoulCriteria(
true="The candidate states the specific rule the query cites.",
false="The candidate is only on a similar topic.",
),
)
response = client.system_one(state={...}, questions={"is_cited_source": question})
response.answers["is_cited_source"].noul # -> 0.87तीन मुख्य बातें:
- Noul ही क्यों, हाँ/ना प्रश्न क्यों नहीं: आधिकारिक मूल शब्द—शुद्ध yes / no से 30 उम्मीदवारों को क्रमबद्ध नहीं किया जा सकता; Noul 0–1 की प्रायिकता लौटाता है, यही noul वह अंक है जिससे प्रोग्राम क्रमबद्ध करता है
- criteria दोनों पक्षों को सख्ती से तय करता है:
true= उम्मीदवार ने वह विशिष्ट नियम बताया है जिसका हवाला क्वेरी देती है;false= सिर्फ विषय मिलता-जुलता है—「मिलता-जुलता विषय」 ही BM25 के गलत क्रम की जड़ है, इसे प्रश्न में नाम लेकर बाहर रखना है - state में सिर्फ यही जोड़ी रखें:
{"query_excerpt": query, "candidate_passage": candidate}, हर अनुरोध को सिर्फ एक जोड़ी दिखती है
पुनर्क्रमण सिर्फ क्रमबद्ध करने की एक पंक्ति का कोड है (आधिकारिक मूल पाठ):
nouls = {candidate: ask_typesafe(query, candidate) for candidate in shortlist}
reranked = sorted(shortlist, key=lambda c: nouls[c], reverse=True) # highest noul firstआधिकारिक कार्यान्वयन में, 40 क्वेरी × हर एक की 30 अंशों की शॉर्टलिस्ट = 1,200 स्वतंत्र कॉल, जिन्हें ThreadPoolExecutor(max_workers=12) से समवर्ती रूप से चलाया जाता है—हर जोड़ी एक-दूसरे को नहीं देखती, स्वाभाविक रूप से समवर्ती हो सकती है। CLERC कोरपस 3,565 अमेरिकी न्यायालय के फैसलों के अंश है (170 पंक्तियों का डेटा मिलाकर साझा कोरपस बना, 40 पंक्तियाँ क्वेरी के रूप में निकाली गईं, हर पंक्ति की क्वेरी उद्धरण-चिह्न हटाए फैसले का अंश है, gold वह अंश है जिस पर उद्धरण इशारा करता है)।
आपको यह दिखना चाहिए (आधिकारिक jev-1.12 रिकॉर्डिंग, फास्ट सर्च vs Jev पुनर्क्रमण जोड़ना, 40 क्वेरी पर सही अंश के शीर्ष N में आने का अनुपात):
Top 1: 5% → 18%
Top 5: 15% → 35%
Top 10: 38% → 62%सही अंश हर स्तर पर शीर्ष की ओर खिसका—लेकिन इसकी सीमा नोट करें: पुनर्क्रमण सिर्फ शॉर्टलिस्ट में पहले से मौजूद 30 अंशों को ही पुनर्क्रमित करता है, फास्ट सर्च में न आए को वापस नहीं लाया जा सकता (100% रिकॉल BM25 की इस बार की संयोग से प्राप्ति है, आपके परिदृश्य में इसका होना ज़रूरी नहीं है, देखेंसावधानी संबंधी संकेत)।
💡 यही Jev का अनन्य मूल्य है
पुनर्क्रमणकोई सीमा निर्धारित नहीं करता—यह तय नहीं करता कि「यह जोड़ी मेल खाती है / नहीं खाती」, बस 40×30 0–1 के तुलनीय अंक चाहिए, क्रमबद्ध करना कोड पर छोड़ा जाता है। आधिकारिक पक्ष ने एक बात और कही: यह डेमो स्पष्टता के लिए हर जोड़ी से सिर्फ एक प्रश्न पूछता है, वास्तविक अनुप्रयोग मेंउसी कॉल में उसी जोड़ी से कई प्रश्न पूछे जाएँगे—एक अनुरोध में कई प्रश्नों की क्रियाविधि और परीक्षित लाभ देखेंसमानांतर प्रश्न और सट्टा फैन-आउट।
- मैं बता सकता हूँ कि क्रमबद्ध करने की कुंजी में साधारण हाँ/ना निर्णय के बजाय Noul क्यों, और 1,200 कॉल कैसे आए (40 × 30)
चरण 3: पंक्ति-दर-पंक्ति अर्थगत खोज—218 पंक्तियों के प्रावधान एक अनुरोध में, Choice पंक्ति बताता है, Noul होने-नहीं-होने की जाँच करता है
क्यों: रीरैंकिंग 'उम्मीदवार पैसाजों का एक ढेर' पर काम करती है, जबकि यह चरण एक ठोस दस्तावेज़ पर काम करता है: GitHub की सेवा की शर्तें (218 पंक्तियाँ, 43,980 अक्षर), और सादी भाषा में पूछा गया सवाल 'मैंने जो कोड अपलोड किया है वह किसका है' — जवाब को पंक्ति तक लोकेट करना है, साथ ही यह भी पकड़ना है कि 'दस्तावेज़ में लिखा ही नहीं है'। आधिकारिक तीन-भाग की संरचना: पहले हर पंक्ति को ID दें, फिर Choice से पंक्ति ID को स्कोर करें, और अंत में उसी रिक्वेस्ट में एक Noul जोड़कर जाँचें कि जवाब है या नहीं।
पहले हर पंक्ति को ID देकर उन्हें वापस एक दस्तावेज़ में जोड़ें — मॉडल इन ID से अपना जवाब इंगित करता है (आधिकारिक मूल पाठ):
DOCUMENT_URL = (
"https://raw.githubusercontent.com/typesafe-ai/typesafe-public-examples/main/cookbooks/semantic_find/github-tos.txt"
)
LINES = fetch_document(DOCUMENT_URL).splitlines()
def line_id(i: int) -> str:
return f"L{i:03d}"
DOCUMENT = "\n".join(f"{line_id(i)}| {line}" for i, line in enumerate(LINES))जोड़कर बना दस्तावेज़ ऐसा दिखता है:
L052| You own Your Content. If you post Content you did not create, you are responsible for...
L053| You grant us and other Users the licenses in Sections D.4–D.8. These licenses apply...
L054| 4. License Grant to Usदो सवाल (आधिकारिक मूल पाठ): एक Choice जिसमें पंक्ति ID विकल्प हैं — विकल्प के विवरण में None लिखा है, क्योंकि पंक्ति का टेक्स्ट पहले से ही दस्तावेज़ में मौजूद है:
def where_question(query: str) -> Choice:
return Choice(
instructions=f'Which line of the document contains the answer to: "{query}"?',
criteria={line_id(i): None for i in range(len(LINES))},
)दूसरा Noul जो जाँचता है कि जवाब है या नहीं — इसके पीछे का कारण जरूरी है: Choice की संभावनाओं का योग हमेशा 1 रहता है, इसलिए दस्तावेज़ में जवाब न होने पर भी कोई एक पंक्ति सबसे ऊपर आती है; Noul की संभावना दूसरे विकल्पों पर निर्भर नहीं करती, जवाब न होने पर यह लगभग 0 तक गिर सकती है:
def exists_question(query: str) -> Noul:
return Noul(
instructions=f'Does any line of the document address or answer: "{query}"?',
criteria=NoulCriteria(
true="At least one line of the document states or directly implies the answer",
false="No line of the document addresses this",
),
)दोनों सवाल एक ही रिक्वेस्ट में जाते हैं, दस्तावेज़ सिर्फ एक बार भेजा जाता है:
@json_cache
def _find(model, state, where, exists) -> dict:
response = client.system_one(
state=state,
questions={"where": where, "exists": exists},
model=model,
)
probabilities = response.answers["where"].probabilities
return {
"exists": response.answers["exists"].noul,
"relevance": [probabilities.get(line_id(i), 0.0) for i in range(len(LINES))],
}exists को तीन स्तरों पर आँका जाता है — आधिकारिक टिप्पणी कहती है: जवाब होने पर आमतौर पर रीडिंग ≥ 0.9 होती है, न होने पर ≤ 0.05; थ्रेशोल्ड को अपने दस्तावेज़ों पर ट्यून करके ही लाइव करें:
FOUND, ABSENT = 0.7, 0.35 # present answers typically read >=0.9, absent <=0.05
def verdict(exists: float) -> str:
if exists >= FOUND:
return "answered in this document"
return "not in this document" if exists < ABSENT else "partially addressed"आपको यह देखना चाहिए (आधिकारिक jev-1.12 रिकॉर्डिंग, चार क्वेरी; पहले दो में जवाब है, तीसरे में नहीं, चौथे में सिर्फ आधा):
218 lines, 43,980 characters
"who owns the code I upload?"
exists 0.98 -> answered in this document
L052 0.95 You own Your Content. If you post Content you did not crea... ← 就是它
"can GitHub kick me off the platform without warning?"
exists 0.97 -> answered in this document
L168 0.97 GitHub has the right to suspend or terminate your access t...
"do I have to take disputes to arbitration?"
exists 0.14 -> not in this document
L205 0.86 Except to the extent applicable law provides otherwise, th...
"can minors use GitHub with parental permission?"
exists 0.46 -> partially addressed
L029 0.90 You must be age 13 or older. While we are thrilled to see...तीसरी क्वेरी पूरे डिज़ाइन की सबसे कीमती सीख है: सबसे ऊपर वाली पंक्ति को 0.86 का रिलेवेंस स्कोर मिला, लेकिन exists सिर्फ 0.14 — सबसे मिलती-जुलती पंक्ति जवाब नहीं भी हो सकती। आधिकारिक सारवाक्य: रैंकिंग आपको बताती है कहाँ देखना है, exists स्कोर आपको बताता है नतीजा जवाब माना जाए या नहीं। चौथा आधा जवाब है: उम्र वाले नियम की पंक्ति 0.90 के साथ सबसे ऊपर है, लेकिन 'क्या अभिभावक की सहमति से नियम बदले जा सकते हैं' लिखा नहीं है — partially addressed, इंसान आगे देखे।
💡 यही Jev का अनन्य मूल्य है
Choice 选项 = 行 ID 'पंक्ति तक लोकेट करना' को बहुविकल्पीय प्रश्न बना देता है: 218 विकल्प सभी criteria में सूचीबद्ध हैं, मॉडल मूल पाठ दोबारा लिखने के बजाय L052 को इंगित करता है — संदर्भ हमेशा मूल पाठ में सचमुच मौजूद पंक्ति की ओर इशारा करता है, L499 जैसी पंक्ति की हैल्यूसिनेशन नहीं हो सकती। Noul exists के साथ ही सिस्टम 'दस्तावेज़ में लिखा नहीं है' की स्थिति में जवाब देने से इनकार कर सकता है — यह शुद्ध समानता-आधारित रिट्रीवल के बस की बात नहीं।
- मैं arbitration क्वेरी में 0.86 और 0.14 क्या मापते हैं, और दोनों सवाल एक ही रिक्वेस्ट में क्यों होने चाहिए, यह समझा सकता/सकती हूँ
चरण 4: एंटिटी अलाइनमेंट — एक Score तीन स्तरों का निर्णय, तीन Noul असहमति वाले फ़ील्ड की पहचान
क्यों: डेटा स्रोतों को मर्ज करते समय, गलत मर्ज ज्यादा महंगी गलती होती है — आधिकारिक मूल शब्द: एक बार गलत मर्ज हो जाने पर, दोनों तरफ की एंटिटी का हर तथ्य मर्ज की गई एंटिटी का वर्णन करने लगता है और सारे लिंक साथ चले आते हैं; इसे पूर्ववत करने के लिए हर तथ्य का स्रोत किस तरफ था, यह अलग करना पड़ता है; जबकि छूटा हुआ मर्ज सिर्फ एक डुप्लिकेट छोड़ जाता है। इसलिए निर्णय के लिए तीसरा रास्ता चाहिए: जिस जोड़े को न मर्ज करने का यकीन है और न फेंकने का, वह इंसान के हवाले करें।
डेटा Magellan डेटासेट की दो बियर कैटलॉग के 450 उम्मीदवार जोड़े हैं (एक coarse-screen पहले ही बारीकी से देखने लायक जोड़े छाँट चुका है), हर एंटिटी के चार फ़ील्ड हैं: name, brewery, style, abv। टेक्स्ट को बिना प्रीप्रोसेसिंग के वैसा ही रखा गया है — HTML एंटिटी रिस्टोर नहीं की गईं, एपोस्ट्रॉफी अलग शब्दों में टूटे हैं, कुछ अक्षर गलत डिकोड हुए हैं — सब वैसा ही रहने दिया गया है।
एक Score तीन स्तरों के आधार पर निर्णय देता है, और तीनों स्तरों के विवरण ही पूरा निर्णय हैं (आधिकारिक मूल पाठ):
LEVELS = [
"They describe two different products.",
"They describe closely related products that may or may not be the same one: "
"a variant, a special edition, or a name that could plausibly refer to either.",
"They describe one and the same product.",
]
OUTCOME = {0: "leave unlinked", 1: "curator queue", 2: "assert sameAs"}
QUESTIONS = {
"link_state": Score(
instructions="How do the two entity descriptions relate as products?",
criteria=LEVELS,
),
"same_name": Noul(instructions="Do the two entities state the same beer name?"),
"same_brewery": Noul(instructions="Are the two entities from the same brewery?"),
"same_style": Noul(instructions="Do the two entities describe the same beer style?"),
}चार प्रश्न एक ही अनुरोध में जाते हैं, state केवल यही जोड़ी है: {"entity_a": ..., "entity_b": ...}। तीन बारीकियाँ:
- Score का उपयोग क्यों, Noul/Choice का नहीं: आधिकारिक चयन-गवाही — सिमेंटिक लेबल (तीन स्तरों के विवरण) को सीधे प्रत्येक परिणाम पर लगाना है, मध्य स्तर सहित; Noul केवल आउटपुट थ्रेशोल्ड के ज़रिए अप्रत्यक्ष रूप से ऐसा कर सकता है, जबकि Choice तीन स्तरों का क्रमबद्ध संबंध खो देता है
- मध्य स्तर को लिखने में मेहनत करना चाहिए: «वैरिएंट, विशेष संस्करण, ऐसे नाम जो संभवतः दोनों में से किसी एक को इंगित करें» — शब्दों की चुनाव ही तय करती है कि कौन-से जोड़े curator में जाएँगे और कौन-से unlinked छोड़े जाएँगे; यही आपका «निर्णय लॉजिक» है, और किसी भी स्कोर को देखने से पहले ही इसे लिखा जा सकता है
- abv के लिए Noul नहीं: आधिकारिक कथन — दो संख्याओं की तुलना अंकगणित है, चाहिए तो कोड में करें। तीनों टेक्स्ट फ़ील्ड के लिए एक-एक Noul, curator के लिए मतभेद का विवरण
परिणाम केवल «निकटतम स्तर लें» की एक पंक्ति कोड से तय होता है — ध्यान दें कि पूरी फ़ाइल में कोई थ्रेशोल्ड स्थिरांक नहीं है (आधिकारिक मूल पाठ: There is no threshold constant anywhere in this file):
def route(score_value: float) -> str:
"""The whole decision rule: the nearest level names the outcome."""
return OUTCOME[min(int(score_value + 0.5), len(LEVELS) - 1)]आपको यह दिखना चाहिए (आधिकारिक jev-1.12 रिकॉर्डिंग, चार जोड़े नमूने — एक जोड़ा समान, एक जोड़ा असंबंधित, दो जोड़े अलग-अलग कारणों से मध्य स्तर में):
c446 score 1.94 confidence 0.92 -> assert sameAs
Thomas Hooker Old Marley Barleywine | Thomas Hooker Brewing Company
Thomas Hooker Old Marley Barleywine | Thomas Hooker Brewing Company
name 0.97 brewery 0.99 style 0.81 ← समान, शैली के लेखन में अंतर (Barley Wine)
c427 score 0.03 confidence 0.95 -> leave unlinked
Frost Quake Bourbon Barrel Aged Barley Wine | Wellington County Brewery
Lompoc Bourbon Barrel Aged Proletariat Red A | Lompoc Brewing
name 0.02 brewery 0.09 style 0.08 ← असंबंधित
c100 score 1.30 confidence 0.27 -> curator queue
Belle Gueule Rousse | Brasseurs R.J.
Belle Gueule Rousse | Brasseurs RJ
name 0.95 brewery 0.94 style 0.35 ← केवल style की शब्दावली में अंतर, confidence 0.27
c428 score 1.10 confidence 0.77 -> curator queue
Ambleside Amber Ale | Bridge Brewing Company
Bridge Ambleside Amber Ale - Pomegranate & Galena Hops | Bridge Brewing Company
name 0.63 brewery 0.98 style 0.74 ← इसी ब्रूअरी का pomegranate-flavored संस्करणसभी 450 जोड़े पूरे चलाए गए (हर जोड़े पर एक अनुरोध, ThreadPoolExecutor(max_workers=6) छोटे पूल का concurrency — आधिकारिक टिप्पणी: सार्वजनिक एंडपॉइंट पर लगभग 8 concurrency से ऊपर रेट-लिमिट लग जाता है):
assert sameAs 40 ( 8.9%) ← स्वचालित विलय
curator queue 50 (11.1%) ← मानव समीक्षा के लिए
leave unlinked 360 (80.0%) ← अलग ही रहने दें80% जोड़े स्वचालित रूप से निपट गए, हर पाँच जोड़ों में से लगभग एक को मानव चाहिए। एक पल के लिए रुकने लायक दो बातें: c100 का name और brewery दोनों 0.94 से ऊपर हैं, केवल style में मतभेद 0.35 — Noul विवरण सीधे बताता है कि curator किस फ़ील्ड को देखे; route() के दोनों कट-ऑफ़ पॉइंट (0.5 और 1.5) ट्यून करके निकाले नहीं गए, वे पूरी तरह इस बात पर निर्भर करते हैं कि आप तीन-स्तरीय विवरण कैसे लिखते हैं।
- मैं बता सकता/सकती हूँ कि 「गलत विलय छूटे हुए विलय से क्यों महँगा है」, मध्य-स्तरीय विवरण किस काम आता है, और 450 जोड़ों में मानव समीक्षा को जाने वाला अनुपात (50, 11.1%)
चरण 5: अपना डेटा लगाएँ — शॉर्टलिस्ट, दस्तावेज़, फ़ील्ड — तीन बदलाव के बिंदु
क्यों: तीनों केस स्टडी के बदलाव के बिंदु मिलाकर केवल तीन हैं, और वे एक-दूसरे से स्वतंत्र हैं — आपका परिदृश्य बड़ी संभावना में इनमें से किसी एक का ही रूपांतर होगा।
- शॉर्टलिस्ट स्रोत बदलें: रीरैंकिंग स्टेज में फास्ट सर्च BM25 का उपयोग करता है, लेकिन आधिकारिक रूप से स्पष्ट कहा गया है कि यह साइड-इश्यू है — रीरैंकर केवल शॉर्टलिस्ट में आए अनुच्छेद देखता है, फास्ट सर्च को एम्बेडिंग रिट्रीवल से बदलना या फुल-टेक्स्ट इंडेक्स से बदलना दूसरे स्तर को प्रभावित नहीं करता। बदलनी केवल वह 30 प्रविष्टियाँ हैं जो
shortlistमें डाली जाती हैं - दस्तावेज़ बदलें: लाइन-दर-लाइन सर्च में
DOCUMENT_URLको अपने अनुबंध / नीति / शर्तों से बदलें (आधिकारिक मूल शब्द: यह URL बदल दें, स्क्रिप्ट का बाकी सब कुछ वैसा ही चलेगा)। 255 लाइनों के भीतर एक अनुच्छेद में निपट जाता है; इससे लंबे दस्तावेज़ों के लिए आधिकारिक रूप से दिया गया दो-चरणीय तरीका — पहला Choice चुनता है कि 「उत्तर किस विंडो में है」, दूसरा विंडो के भीतर क्रम तय करता है - फ़ील्ड बदलें: एंटिटी अलाइनमेंट को प्रोडक्ट, संगीत, संस्था निर्देशिकाओं में ले जाने के लिए केवल
QUESTIONSऔरLEVELSदोबारा लिखने होंगे — संख्यात्मक फ़ील्ड (कीमत, मात्रा) के लिए Noul मत निकालें, कोड से तुलना करें; टेक्स्ट फ़ील्ड के लिए एक फ़ील्ड पर एक Noul। लागत उम्मीदवार जोड़ों की संख्या के साथ चलती है, दोनों निर्देशिकाओं के आकार से कोई लेना-देना नहीं (आधिकारिक मूल शब्द)
डेवलपमेंट काल में पैसे बचाने और concurrency के लिए, दो आदतें:
सभी उत्तर
JsonCacheकेjson_cache.jsonमें सहेजे जाते हैं; कोड बदलकर दोबारा चलाने पर शून्य अनुरोध होते हैं — वास्तव में चलाना चाहें तो बस कैश फ़ाइल हटा दें। कैश कुंजी फ़ंक्शन नाम और पैरामीटर से बनती है, इसलिए दस्तावेज़ / प्रश्न / उम्मीदवार बदलने पर अपने आप miss हो जाता हैlive मोड में बड़ी मात्रा में जोड़ियाँ चलाते समय छोटा थ्रेड पूल का उपयोग करें (आधिकारिक रूप से 6 का उपयोग होता है): रेट लिमिट संगठन के हिसाब से लागू होता है, सीमा पार होने पर
429लौटता है, SDK अपने आप घातीय बैकऑफ़ से पुनः प्रयास करता है, लेकिन सीमा के ठीक किनारे पर चलाने का कोई मतलब नहीं हैमैं जानता हूँ कि मेरे परिदृश्य में कौन-सा बिंदु बदलना है: शॉर्टलिस्ट स्रोत / दस्तावेज़ / फ़ील्ड
📋 जादुई Prompt
इस पृष्ठ का「Prompt」API के लिए प्रश्न और कोड टेम्पलेट है — इसे कॉपी करके【】प्लेसहोल्डर बदल दें (? वाले वैकल्पिक हैं), और यह आपकी अपनी रिट्रीवल या निर्देशिका से जुड़ जाएगा। तीन टुकड़े: रीरैंक स्कोरिंग, लाइन-बाय-लाइन लोकेशन, और अलाइनमेंट निर्णय।
📝 रीरैंक स्कोरिंग प्रश्न (Noul संस्करण)
अपेक्षित परिणाम: कोई भी ऐसा परिदृश्य जहाँ「तेज़ खोज उम्मीदवार सूची देती है और प्रासंगिकता के अनुसार रीरैंक करना है」— कानूनी रिट्रीवल, दस्तावेज़ प्रश्नोत्तर, एंटरप्राइज़ सर्च का rerank लेयर — हर क्वेरी-उम्मीदवार जोड़ी पर यह एक ही टेम्पलेट लगाकर सॉर्टिंग कुंजी पाएं।
from typesafe_sdk import Noul, NoulCriteria
# 必填项:state 放【查询原文 + 这一个候选】,true/false 分别写清「真匹配」和「最容易混的假匹配」
rerank_question = Noul(
instructions="【候选段回答得了这个问题吗?一句话,例如:这段能不能是被引的那条判例?】",
criteria=NoulCriteria(
true="【候选陈述了查询引用的具体规则/给出了查询要的答案】",
false="【候选只是在相近话题上——把快搜索最典型的误排写在这里】",
),
)
score = client.system_one(
state={"query": 【查询原文】, "candidate": 【这一个候选】},
questions={"is_match": rerank_question},
).answers["is_match"].noul # 0–1,直接当排序键
# 选填项:真实应用在同一个请求里对同一对多问几道——支持度、原创度、时效各一题,一组分数一起排?
# 输出规范:每对一个 0–1 的 noul;reranked = sorted(shortlist, key=noul, reverse=True)
# 约束条件:
# ✅ 不设匹配阈值——重排序只要可比分数,排序在代码
# ✅ false 描述里点名快搜索的典型误排(如「只是话题相近」)
# ❌ 别指望重排召回快搜索漏掉的候选——短名单外的一个都进不来✅ लाइन-बाय-लाइन खोज के दो प्रश्न (Choice + Noul संस्करण)
अपेक्षित परिणाम: 255 पंक्तियों से कम के दस्तावेज़ के लिए,「उत्तर किस पंक्ति में है」और「उत्तर है या नहीं」एक ही अनुरोध में लौट आते हैं — अनुबंध शर्तें ढूँढना, नीति प्रश्नोत्तर, टिकट नॉलेज बेस रिट्रीवल।
from typesafe_sdk import Choice, Noul, NoulCriteria
# 必填项:行 ID 先拼进文档("L052| ..."),选项就是这些 ID、说明留 None
questions = {
"where": Choice(
instructions='Which line of the document contains the answer to: "【大白话问题】"?',
criteria=【{行ID: None for 行ID in 全部行}】,
),
"exists": Noul(
instructions='Does any line of the document address or answer: "【同一问题】"?',
criteria=NoulCriteria(
true="At least one line of the document states or directly implies the answer",
false="No line of the document addresses this",
),
),
}
# 选填项:三档判读——exists ≥ 0.7 算有答案、< 0.35 算没有、中间 partially;阈值用自己的文档调?
# 输出规范:每行一个相关分(Choice probabilities)+ 一个 0–1 的 exists;两题同一请求,文档只发一次
# 约束条件:
# ✅ 文档 ≤ 255 行一段搞定;更长先挑窗口、再在窗口内排行(第二道 Choice)
# ✅ exists 必配——Choice 恒有第一名,没答案时它照样硬指一行
# ❌ 别丢掉行 ID 标注这一步——引用必须指回真实存在的行🔧 एंटिटी अलाइनमेंट के चार प्रश्न (Score + 3 Noul संस्करण)
अपेक्षित परिणाम: निर्देशिका मर्ज करना / डुप्लिकेट हटाना / डेटाबेस में दाखिल करते समय मिलान — यह तय करना कि दो रिकॉर्ड एक ही चीज़ हैं या नहीं; जिन परिदृश्यों में गलत मर्ज की कीमत ऊँची हो वहाँ यह विशेष रूप से उपयोगी है।
from typesafe_sdk import Noul, Score
# 必填项:三档从左到右由「敢扔」到「敢并」,中间档写清哪类情况该送人工
LEVELS = [
"【两条记录描述两个不同的东西】",
"【描述紧密相关但不一定是同一款:变体 / 特别版 / 可能指两者任一的名字】",
"【描述同一个东西】",
]
QUESTIONS = {
"link_state": Score(
instructions="How do the two entity descriptions relate?",
criteria=LEVELS,
),
【"same_字段1": Noul(instructions="这两条记录的【字段1】说的是同一个吗?")】,
【"same_字段2": Noul(instructions="……同上,每个文本字段一道")】,
}
# 选填项:数字型字段(价格、度数、数量)不出 Noul——两个数字比较是算术,代码一行?
# 输出规范:score 取最近档定结局(不同/人工/同一),三道 Noul 明细供人工复核
# 约束条件:
# ✅ 全程无阈值常数——切点(0.5 / 1.5)由三档措辞决定,看分数之前就能写好
# ✅ 中间档值得最认真写:它决定哪些对进 curator
# ❌ 别为「不放心」再加一层阈值判断——要么改等级措辞,要么接受送人工的比例चेकपॉइंट ✅
- मैं तीनों उदाहरणों के प्रश्न-प्रकार संयोजन बता सकता हूँ: रीरैंक में प्रत्येक जोड़ी पर 1 Noul, लाइन-बाय-लाइन खोज में 1 Choice + 1 Noul एक ही अनुरोध में, एंटिटी अलाइनमेंट में 1 Score + 3 Noul एक ही अनुरोध में
- रीरैंक के आधिकारिक आँकड़े: top-1 हिट 5% → 18%, top-5 15% → 35%, top-10 38% → 62%; सही अनुच्छेद 100% बार शॉर्टलिस्ट में होता है, पर पहले स्थान पर केवल 5% बार
- मैं arbitration क्वेरी का शिक्षण बिंदु समझा सकता हूँ: सबसे ऊँचे रैंक वाली पंक्ति को 0.86 प्रासंगिकता अंक मिलता है, exists केवल 0.14 — सबसे मिलता-जुलता होना उत्तर होने के बराबर नहीं है
- एंटिटी अलाइनमेंट के तीन दाँवों में से निकटतम दाँव चुना जाता है (
routeएक पंक्ति), 450 जोड़ियाँ 360 / 50 / 40 पर बँटी हैं (80.0% / 11.1% / 8.9%), और फ़ाइल में कोई थ्रेशोल्ड स्थिरांक नहीं है - मैं दो कठोर सीमाएँ जानता हूँ: रीरैंक तेज़ खोज की छूटी हुई वस्तुएँ नहीं बचा सकता; एक Choice प्रश्न में अधिकतम 255 विकल्प होते हैं, ज़्यादा होने पर पहले विंडो चुनें फिर रैंक करें
आम गलतियों की चेतावनी
❌ रीरैंक से छूटी वस्तुएँ बचाने की कोशिश
रीरैंक केवल शॉर्टलिस्टके उन कैंडिडेट्स को ही रीरैंक करता है जो पहले से शामिल हैं——जो पैराग्राफ फास्ट सर्च में चयनित नहीं हुए, वे Jev चाहे कितना भी सटीक हों, दिखाई नहीं देंगे। आधिकारिक डेटा में सही पैराग्राफ का 100% top-30 में आना BM25 का उस डेटासेट पर प्रदर्शन है; अपने कॉर्पस पर बदलने से पहले शॉर्टलिस्ट रिकॉल देखें, यदि पर्याप्त न हो तो फास्ट सर्च का रिकॉल बढ़ाएं या कैंडिडेट संख्या बढ़ाएं——यह पहली परत की समस्या है, दूसरी परत में ठीक न करें।
❌ केवल Choice भेजना और exists न पूछना
Choice की प्रायिकताओं का योग सदैव 1 रहता है, हमेशा कोई एक पंक्ति पहले स्थान पर रहती है——जब दस्तावेज़ में उत्तर नहीं होता तब भी यह ज़बरदस्ती एक पंक्ति की ओर इशारा करता है, इसका पालन करना हैल्यूसिनेशन है। पंक्ति-दर-पंक्ति खोज का दूसरा नंबर (exists Noul) ही 「क्या है या नहीं」 का मानदंड है: इसकी प्रायिकता अन्य विकल्पों पर निर्भर नहीं करती, उत्तर न होने पर यह लगभग 0 तक गिर सकती है (वास्तविक परीक्षण में 0.14)।
❌ 260 पंक्तियों के दस्तावेज़ को ज़बरदस्ती एक ही Choice में ठूँसना
एक Choice में अधिकतम 255 विकल्प होते हैं। सीमा पार करने का आधिकारिक तरीका हैदो-चरणीय: पहला Choice पहले चुनता है 「उत्तर किस विंडो की पंक्ति में है」, दूसरा विंडो के भीतर पंक्तियों की रैंकिंग करता है——हर बार 255 के भीतर रहता है। इसके विपरीत, 65 पंक्तियों के दस्तावेज़ को विभाजित करने की ज़रूरत नहीं, सीधे इस्तेमाल करें।
❌ संख्यात्मक फ़ील्ड भी Jev को तुलना के लिए दे देना
बीयर कैटलॉग में abv (अल्कोहल) 8.10 % बनाम 9.30 %——आधिकारिक रूप से स्पष्ट कहा गया है कि दो संख्याओं की तुलना अंकगणित है, यदि चाहिए तो कोड में करें। तीन टेक्स्ट फ़ील्ड ही Noul का काम हैं: name / brewery / style की 「समानता」 लेखन शैली पर निर्भर करती है, 0.35 का style स्कोर curator को सीधे बता सकता है कि मतभेद कहाँ है। और मान निष्कर्षण एक ही लौह नियम है: मॉडल टेक्स्ट पढ़ता है, अंकगणित कोड में।
❌ चीनी दस्तावेज़ों को बिना परीक्षण सीधे लाइव करना
आधिकारिक भाषा समर्थन नोट: अंग्रेज़ी प्राथमिक प्रशिक्षण भाषा है और सर्वोत्तम सटीकता देती है, अन्य भाषाएँ (चीनी सहित) काम करती हैं पर सटीकता कम होती है। चीनी के सिमेंटिक सर्च, कैटलॉग अलाइनमेंट को लाइव करने से पहले अपने वास्तविक डेटा पर एक बैच चलाएँ, विशेष रूप से प्रायिकता वितरण और exists की व्याख्या देखें (देखें मॉडल और मूल्य का भाषा समर्थन अनुभाग)।
उन्नत तकनीकें (वैकल्पिक)
एक-से-अनेक प्रश्न। रीरैंकिंग डेमो में प्रत्येक जोड़ी के लिए केवल एक प्रश्न पूछा गया ताकि बात स्पष्ट हो; आधिकारिक मूल शब्द——वास्तविक अनुप्रयोग एक ही 「क्वेरी-कैंडिडेट」 जोड़ी के लिएएक ही कॉल में कई प्रश्न पूछेंगे। एक अनुरोध में कई प्रश्न लगभग कोई अतिरिक्त प्रतिक्रिया समय नहीं जोड़ते, केवल प्रश्नों के token खर्च होते हैं, आधिकारिक वास्तविक परीक्षण में 13 प्रश्न एक साथ भेजना अलग-अलग भेजने से 12.2 गुना सस्ता और 10.0 गुना तेज़ था, उत्तर अपरिवर्तित——तंत्र विस्तार से देखेंसमानांतर प्रश्न और स्पेकुलेटिव फैन-आउट।
तेज़ खोज की जगह embeddings लें। आधिकारिक तौर पर साफ़ कहा गया है कि reranking सेक्शन की तेज़ खोज बस BM25 है, और कुछ नहीं—लेकिन वह एक साइड इश्यू है; dense embeddings (अनुच्छेदों की अर्थ के आधार पर तुलना) भी शॉर्टलिस्ट बना सकते हैं, और दूसरी परत का reranker किसी एक को तरजीह नहीं देता। चीनी कॉर्पस पर embedding retrieval + Jev reranking का संयोजन अक्सर शुद्ध BM25 स्टार्टिंग पॉइंट से बेहतर काम करता है।
Playground लिंक बनाकर शब्दावली परखें। ब्राउज़र में बार-बार प्रॉम्प्ट की शब्दावली बदलकर देखना चाहते हैं कि probability distribution कैसे बदलता है, तो cooksafe का make_playground_link इस्तेमाल करें (लिंक में पूरा state और प्रॉम्प्ट होता है, संवेदनशील डेटा मत डालें):
from cooksafe import make_playground_link
link = make_playground_link(
{"entity_a": PAIRS[0]["entity_a"], "entity_b": PAIRS[0]["entity_b"]},
QUESTIONS,
)
print(link) # 打开 console.typesafe.ai/playground,改 middle level 措辞看 score 怎么动आधिकारिक entity alignment cookbook में जिस mid-grade शब्दावली का परीक्षण किया गया, वही इतनी बार दोहराकर ट्यून करने लायक है: शब्दावली ही आपका डिसीज़न लॉजिक है, शब्द ट्यून करना थ्रेशोल्ड ट्यून करने से कहीं ज़्यादा explainable है।
RAG में जोड़ें। रिट्रीव किए गए अनुच्छेदों के लिए सिर्फ़ 'कौन-सा सबसे relevant है' नहीं, बल्कि 'context में आना चाहिए या नहीं' भी एक सवाल है—वह एक अलग स्टेप है; आधिकारिक तरीका है हर अनुच्छेद पर चार Noul स्कोर और थ्रेशोल्ड-आधारित रूटिंग, देखें RAG अनुच्छेद गेटकीपिंग। दोनों पाठों को मिलाकर पूरा retrieval quality लेयर बनता है।
इस पाठ का सारांश
✅ Jev reranking = तेज़ खोज recall संभालती है + हर जोड़ी पर एक Noul probability से rerank करता है: BM25 शॉर्टलिस्ट पर top-1 हिट 5% → 18%, top-10 38% → 62%, कोई थ्रेशोल्ड नहीं, रैंकिंग कोड में है।
✅ लाइन-बाय-लाइन खोज = लाइन ID को Choice विकल्प बनाएं (localization, और सिर्फ़ वास्तव में मौजूद लाइनों की पहचान कर सकते हैं) + उसी रिक्वेस्ट में एक exists Noul ('दस्तावेज़ में जवाब नहीं है' कहने की हिम्मत, परीक्षण में 0.14 बनाम 0.86 का सर्वोच्च relevance स्कोर)।
✅ Entity alignment = एक Score तीन-स्तरीय निर्णय (सबसे नज़दीकी स्तर अंतिम परिणाम तय करता है) + तीन Noul curator के लिए विवादित फ़ील्ड की पहचान करते हैं; 450 का वितरण 360 / 50 / 40, पूरे प्रक्रिया में कोई थ्रेशोल्ड कॉन्स्टेंट नहीं—तीन स्तरों की शब्दावली ही डिसीज़न लॉजिक है।
✅ तीन सख़्त सीमाएँ: reranking तेज़ खोज के missed recall को नहीं बचा सकता; Choice में ज़्यादा से ज़्यादा 255 विकल्प (ज़्यादा हो तो दो-चरणीय); नंबरों की तुलना अंकगणित है, कोड के लिए छोड़ें।
मुख्य कॉन्फ़िगरेशन फ़ील्ड की समीक्षा:
| फ़ील्ड | इस पेज का मान | विवरण |
|---|---|---|
शॉर्टलिस्ट TOP_K | 30 | हर क्वेरी पर reranker को दिए जाने वाले कैंडिडेट की संख्या; 40 × 30 = 1,200 कॉल |
exists निर्णय रेखा | FOUND 0.7 / ABSENT 0.35 | आधिकारिक नोट: उत्तर होने पर आमतौर पर ≥ 0.9, न होने पर ≤ 0.05; लॉन्च से पहले अपने दस्तावेज़ों पर कैलिब्रेट करें |
LEVELS / OUTCOME | different / related / same ↔ 0 / 1 / 2 | मध्यवर्ती स्तर की शब्दावली तय करती है कि कौन-से जोड़े curator में जाएंगे; कटऑफ़ 0.5 / 1.5 ट्यून करके निकाले नहीं गए हैं |
| प्रति जोड़ा अनुरोध | 1 (एक अनुरोध में कई प्रश्न) | प्रति जोड़ा रीरैंक 1 Noul; प्रति जोड़ा अलाइनमेंट 1 Score + 3 Noul; प्रति क्वेरी लाइन-बाय-लाइन सर्च 1 अनुरोध 2 प्रश्न |
MAX_WORKERS | 6 (आधिकारिक) | आधिकारिक नोट: सार्वजनिक एंडपॉइंट पर लगभग 8 समवर्ती कनेक्शन से ऊपर रेट-लिमिट होता है; सीमा पार होने पर 429, SDK स्वतः बैकऑफ़ करता है |
| मॉडल | jev-1.12 (आधिकारिक रिकॉर्डिंग) | live रन में अपनी स्वयं की वर्शन ID लॉक करें, ड्रिफ्ट होने वाले jev-latest का उपयोग न करें |
| विकल्प सीमा | Choice 255 | सीमा पार होने पर दो-चरणीय: पहले विंडो चुनें फिर रैंक करें |
संबंधित ट्यूटोरियल:
- RAG पैराग्राफ गेटकीपिंग——समान परिवार के रिट्रीवल परिदृश्य: रिट्रीव किए गए पैराग्राफ को संदर्भ में जाना चाहिए या नहीं, प्रत्येक पैराग्राफ के लिए चार Noul थ्रेशोल्ड रूटिंग
- मान एक्सट्रैक्शन: तारीख, ईमेल, फ़ोन, राशि को अक्षरशः सही निकालना——उसी 'कैंडिडेट संकुचन' विचार का दूसरा पक्ष: रेगेक्स कैंडिडेट ढूंढता है, Jev सही वाला चुनता है
- समानांतर प्रश्न और स्पेकुलेटिव फैन-आउट——'कई प्रश्न एक अनुरोध' के अंतर्निहित तंत्र और 12.2x / 10.0x वास्तविक परीक्षण डेटा
अगले पाठ की झलक
सर्च मैचिंग पूरी हो गई, फ़ील्ड मानों का सत्यापन सबसे कम लागत में कैसे करें? अगला पाठ: कैस्केड एक्सट्रैक्शन: सस्ता मॉडल काम करता है, Jev सत्यापन करता है, महंगा मॉडल अंतिम सुरक्षा-जाल।
आप सीखेंगे:
- सस्ता मॉडल पहले एक्सट्रैक्शन करता है, Jev फ़ील्ड-दर-फ़ील्ड उसके आउटपुट की जांच करता है, और केवल जांच में चेतावनी मिलने पर महंगे रीज़निंग मॉडल पर अपग्रेड होता है——लागत वहीं खर्च होती है जहां ज़रूरी हो
- 「Jev सत्यापन」 परत को कैसे डिज़ाइन करें: प्रत्येक फ़ील्ड के लिए एक प्रश्न, अलर्ट लॉजिक पूरी तरह कोड में
- इस पृष्ठ के समान कार्य-विभाजन की निरंतरता: मॉडल निर्णय लेता है, कोड रूटिंग करता है, बस इस बार रूटिंग का विषय मॉडल है