इमेज प्रैक्टिस: स्कैन किए गए दस्तावेज़ पढ़ना, OCR परिणामों का सत्यापन
💡 एक वाक्य में सारांश: Jev इमेज रिकग्निशन से दो पेपर डॉक्यूमेंट पाइपलाइन बनाई जाती हैं —— स्कैन किए गए दस्तावेज़ के लिए «Noul ढूंढता है क्या मौजूद है, Box ढूंढता है कहाँ है, Choice पढ़ता है मान», OCR परिणामों के लिए «पूरा पेज एक बार सत्यापन, क्रॉप पर एक बार बारीकी से देखना», कम स्कोर मानव समीक्षा को भेजे जाते हैं।
आपने पूर्व-आवश्यक कोर्स Box और इमेज में सीखा कि इमेज के साथ रिक्वेस्ट कैसे भेजी जाती है और चारों किनारों को कैसे पढ़ा जाता है। इस पाठ में इसे पूरे प्रोजेक्ट में जोड़ा जाता है। आधिकारिक रूप से तीन इमेज cookbook दिए गए हैं: Reading a scanned vaccination record (टीकाकरण रिकॉर्ड का स्कैन पढ़ना), OCR confidence and bounding boxes (इनवॉइस OCR मानों का सत्यापन), Feeder-cam visit log (पक्षी चारागाह कैमरे की स्पीशीज़ लॉग)। यह पाठ पहले दो को पूरा करता है, तीसरा एडवांस्ड टिप्स में मिलाकर समझाया गया है।
आधिकारिक आँकड़े पहले रख लेते हैं, देखें इस पद्धति का वास्तविक असर: 16 उम्मीदवार टीकों की एक ही रिक्वेस्ट में सभी का सही निर्णय——रिकॉर्ड पर मौजूद 6 टीकों की संभावना 0.97 से ऊपर, दिखने में बहुत मिलते-जुलते «हेपेटाइटिस A और B संयुक्त टीका» की सिर्फ 0.02; स्टिकर से ढकी तारीख पर मॉडल ने «साफ़ नहीं दिख रहा» कहा, अंधाधुंध अंदाज़ा नहीं लगाया; दो इनवॉइस के OCR की तीन गलत पढ़ी चीज़ें (AN400074, INV03070, 16/09/2028) सभी दो बार की जाँच से पकड़ी गईं। यह पाठ लगभग 20 मिनट का है; आधिकारिक उदाहरण में json_cache.json उत्तर कैश शामिल है——आधिकारिक निर्देश के अनुसार, कैश रनिंग डायरेक्टरी में होने पर स्क्रिप्ट कैश रिप्ले करती है, असली रिक्वेस्ट नहीं भेजती, बिना Key के भी इस पेज जैसे ही नंबर मिलते हैं।
सीखने के बाद आप क्या कर सकते हैं
- स्कैन किए गए दस्तावेज़ पढ़ने की पाइपलाइन लिखना: Noul + Box से तालिका की हर वांछित पंक्ति ढूंढना, Choice से मान पढ़ना, साफ़ न दिखने पर अंधाधुंध अंदाज़े के बजाय
unreadableपाना - «इमेज पढ़ना» और «पढ़े गए मान से निर्णय» को दो रिक्वेस्ट में तोड़ना——आधिकारिक वास्तविक परीक्षण: एक ही प्रश्न में मिलाए गए संस्करण से दोनों समस्याएँ समीक्षा रेखा से पूरी तरह छूट गईं
- OCR से निकाले गए मानों का सत्यापन: हर फ़ील्ड को पूरे पेज पर एक बार जाँचना, क्रॉप की गई इमेज पर दोबारा बारीकी से देखना, 0.25 से कम होने पर मानव समीक्षा को भेजना, और मूल इमेज पर समीक्षा बॉक्स खींचना
- इसी प्रश्न-सेट से लगातार वीडियो फ़्रेम संभालना: पक्षी चारागाह कैमरे के 101 फ़्रेम में पक्षी है या नहीं सब सही पहचाना गया (101/101), स्पीशीज़ में 132/133 सही
Jev इमेज रिकग्निशन का उपयोग क्यों करें, मल्टीमॉडल LLM से सीधे इमेज देखवाने के बजाय?
«स्कैन किए गए दस्तावेज़ GPT को भेज दो, वह पढ़ लेगा» बहुत से लोगों की पहली प्रतिक्रिया है——चल जाता है, लेकिन आपको एक पैराग्राफ मिलता है, कोड में उपयोग होने वाला निर्णय नहीं।
| क्षमता | मल्टीमॉडल LLM सीधे इमेज देखता है | Jev इमेज रिकग्निशन |
|---|---|---|
| साफ़ न दिखने वाली सामग्री | ❌ फिर भी एक जवाब देने की प्रवृत्ति——स्टिकर के नीचे की तारीख भी «पढ़» देता है | ✅ Choice में unreadable विकल्प रखा जाता है, आधिकारिक उदाहरण में मॉडल ने सचमुच उसे चुना, बगल के पठनीयता Noul का स्कोर सिर्फ 0.05 |
| स्थान की जानकारी | ❌ «तालिका में थोड़ा ऊपर की पंक्ति» जैसा गद्य विवरण | ✅ Box चारों किनारों का अनुपात लौटाता है, उस पंक्ति को सीधे क्रॉप कर समीक्षक को दिखाया जा सकता है |
| भरोसे का स्तर | ❌ हर बार «क्या आप निश्चित हैं» पूछने पर जवाब बदल जाता है | ✅ हर प्रश्न के साथ संभावना: पेज पर मौजूद टीके की 0.97+, न होने वालों की 0.02, थ्रेशोल्ड आपके कोड में लिखा जाता है |
| निर्णय और इमेज पढ़ना | ❌ एक prompt सब संभालता है, गलती होने पर पता नहीं चलता पढ़ना गलत हुआ या निर्णय | ✅ इमेज पढ़ने के लिए एक रिक्वेस्ट, पढ़े मान से निर्णय के लिए दूसरी रिक्वेस्ट——कौन सा चरण गलत हुआ अलग-अलग साफ़ दिखता है |
| जवाब का रूप | ❌ फ्री टेक्स्ट, डाउनस्ट्रीम में पार्सर लिखना पड़ता है | ✅ टाइप्ड जवाब + संभावना वितरण, if से सीधे उपयोग |
एक वाक्य में: LLM आपके लिए इमेज का «विवरण» देता है, Jev आपके लिए इमेज का «निर्णय» देता है——निर्णय के साथ ही संभावना होती है, संभावना से ही समीक्षा रेखा तय होती है।
आपकी मौजूदा दुविधा
- «पहाड़ जैसे ढेर सारे पेपर स्कैन सिस्टम में दर्ज करने हैं, OCR चल चुका है, लेकिन किसे पता नहीं कौन से फ़ील्ड गलत पढ़े गए——एक-एक कर जाँचने में हाथ से टाइप करने से भी ज़्यादा समय लगता है»
- «मल्टीमॉडल मॉडल से स्कैन पढ़वाया, दाग़ से ढकी तारीख पर भी उसने एक वर्ष बता दिया, गलत होने पर कोई चेतावनी नहीं»
- «चाहता था कि मॉडल बताए लक्ष्य इमेज में किस जगह है, उसने एक «तस्वीर में थोड़ा बाईं ओर» जैसा गद्य लौटा दिया, क्रॉपिंग कोड लिखना ही नामुमकिन»
यह तरीका कब अपनाएँ
जब आपको चाहिए:
- स्कैन किए गए या फोटो खींचे गए दस्तावेज़ों से संरचित जानकारी पढ़ना: तालिका की पंक्तियाँ, तारीख़ें, क्रमांक, राशियाँ
- OCR पहले ही मान निकाल चुका है, लेकिन किसी चीज़ से हर फ़ील्ड की जाँच चाहिए: मान सही है या नहीं, पेज पर है या नहीं, गलत तो नहीं पढ़ा
- निर्णय और स्थान साथ-साथ चाहिए: इस पंक्ति ने क्या कहा, इमेज में किस जगह (ताकि क्रॉप कर मानव समीक्षा को दिखाया जा सके)
और आप नहीं चाहते:
- एक समर्पित विज़न मॉडल ट्रेन या डिप्लॉय करना
- मल्टीमॉडल मॉडल के मनमर्जी से लिखे प्राकृतिक भाषा उत्तर को पार्स करना
- «इमेज पढ़ने» और «निर्णय» में उलझे जवाब में अंदाज़ा लगाना कि कौन सा चरण गलत हुआ
🎒 शुरू करने से पहले की तैयारी
- [] ने Box और छवियाँ पूरा किया है: Python SDK के
Imageसे छवि भेजना आता है,TypeSafe-Danger-Zone-Images: trueरिक्वेस्ट हेडर पता है, चारों भुजाओं के अनुपात पढ़ सकते हैं - [] अनुशंसा करते हैं कि Noul हाँ-ना प्रश्न और Choice बहुविकल्पी प्रश्न पढ़ चुके हों: इस पाठ का हर कदम इन्हीं दो प्रश्नों और Box का संयोजन है
- []इंस्टॉलेशन और पहला रिक्वेस्ट सफलतापूर्वक चला चुके हैं:
.venvउपलब्ध है। इस पाठ का पहला आधा भाग बिना Key के भी चलेगा (आधिकारिक कैश रिप्ले); असली रिक्वेस्ट भेजना चाहें तोTYPESAFE_API_KEYसेट करें - [] एक कप पानी ☕——यह पाठ C मार्ग की अंतिम कृति है: तीन आधिकारिक cookbook, स्कैन किए दस्तावेज़ पढ़ना, चालान सत्यापन, पक्षी देखना——सब एक ही तरीक़ा: 「गेटकीपिंग + लोकेटिंग + वैल्यू पढ़ना」
मेरे साथ करें
नया image_docs.py बनाएँ और नीचे हर कदम के कोड ब्लॉक क्रम से उसी एक फ़ाइल में चिपकाएँ। कदम 1–5 टीकाकरण रिकॉर्ड की स्कैन कॉपी (आधिकारिक उदाहरण) है, कदम 6 में चालान OCR सत्यापन (आधिकारिक दूसरा उदाहरण, बदलाव: छवि बदलना, फ़ील्ड तालिका बदलना)। अभी Key नहीं है? फिर भी चलेगा——आधिकारिक json_cache.json में इस पृष्ठ के सभी अंकों के मूल रिस्पॉन्स संग्रहीत हैं; स्क्रिप्ट कैश मिलने पर उसे रिप्ले करती है, असली रिक्वेस्ट नहीं भेजती (असली चलाना चाहें तो कैश फ़ाइल हटा दें)।
कदम 1: एनवायरनमेंट सेटअप, आधिकारिक स्कैन उदाहरण और कैश डाउनलोड
क्यों: आधिकारिक cookbook ने हर API रिस्पॉन्स json_cache.json में रिकॉर्ड किया है——आधिकारिक शब्द: कैश मौजूद हो तो स्क्रिप्ट API कॉल करने के बजाय इन्हीं रिस्पॉन्स को रिप्ले करती है, इसलिए आपको आधिकारिक अंकों जैसे ही नतीजे मिलते हैं। पहले सामग्री तैयार करें, तभी आगे हर कदम पर आधिकारिक अंकों से मिलान होगा।
डिपेंडेंसी इंस्टॉल करें (आधिकारिक टीकाकरण रिकॉर्ड cookbook का इंस्टॉल कमांड, pillow जोड़ा गया——कदम 5 की क्रॉपिंग में काम आएगा):
pip install ipython matplotlib pillow 'typesafe-sdk>=0.7.5,<0.8.0' \
'cooksafe>=0.2.0,<0.3.0'आधिकारिक उदाहरण रिपॉज़िटरी से स्कैन कॉपी और कैश डाउनलोड करें (typesafe-public-examples, स्क्रिप्ट के साथ उसी डायरेक्टरी में रखें):
curl -sL -o vaccination_record.jpg https://raw.githubusercontent.com/typesafe-ai/typesafe-public-examples/main/cookbooks/reading_scanned_documents/vaccination_record.jpg
curl -sL -o json_cache.json https://raw.githubusercontent.com/typesafe-ai/typesafe-public-examples/main/cookbooks/reading_scanned_documents/json_cache.jsonफ़ाइल हेडर चिपकाएँ——क्लाइंट, थ्रेशोल्ड कॉन्स्टेंट, कैश-सहित रिक्वेस्ट फ़ंक्शन:
import hashlib
import json
import os
from datetime import date
from pathlib import Path
from time import perf_counter
from cooksafe import JsonCache
from typesafe_sdk import Image, TypeSafeClient
TYPESAFE_MODEL = "jev-1.14.0" # Box questions need Jev 1.14
IMAGES_ON = {"TypeSafe-Danger-Zone-Images": "true"} # opt in to the image preview
READ_CUTOFF = 0.90 # below this, a person checks the reading against the paper
LEGIBLE_CUTOFF = 0.50 # the legibility Noul gets its own, lower cutoff
IN_DATE_CUTOFF = 0.50 # below this, a nurse checks whether the dose still covers the trip
client = TypeSafeClient(
api_key=os.environ.get("TYPESAFE_API_KEY", "cache-only"), # keyless kernels replay
timeout=120.0,
)
json_cache = JsonCache(Path("json_cache.json"))
PAGE = Path("vaccination_record.jpg")
PAGE_SHA = hashlib.sha256(PAGE.read_bytes()).hexdigest()[:16] # cache key for the scan
@json_cache
def ask(model: str, page_sha: str, questions_json: str) -> dict:
"""One request: the scan as the state, plus a set of questions about it."""
started = perf_counter()
response = client.system_one(
state={"page": Image(PAGE)},
questions=json.loads(questions_json),
model=model,
extra_headers=IMAGES_ON,
)
return {
"answers": {k: a.model_dump(mode="json") for k, a in response.answers.items()},
"seconds": round(perf_counter() - started, 2),
}
def ask_page(questions: dict) -> dict:
if not questions: # nothing to ask, such as a page with no rows found
return {"answers": {}}
return ask(TYPESAFE_MODEL, PAGE_SHA, json.dumps(questions, sort_keys=True))
print("setup ok")python image_docs.py चलाएँ।
आपको यह दिखना चाहिए: setup ok——यह कदम सिर्फ़ असेंबली है, अभी रिक्वेस्ट नहीं भेजा गया।
⚠️ प्रायोगिक फ़ीचर, आधिकारिक शब्द दीवार पर लगा देने चाहिए
Images और Box अर्ली प्रीव्यू हैं (आधिकारिक नाम dreamer-ready, प्रोडक्शन स्तर नहीं): छवि या Box वाले रिक्वेस्ट में TypeSafe-Danger-Zone-Images: true हेडर अनिवार्य है, औररिक्वेस्ट फ़ॉर्मैट संस्करणों के बीच बदल सकता है। Box प्रश्नों को Jev 1.14 चाहिए——jev-latest पहले से jev-1.14.0 की ओर इशारा करता है। प्रोटोटाइप चरण में मन से खेलें, प्रोडक्शन पर जाने से पहले खुद आँकें। छवियों की अपनी सीमाएँ भी हैं: PNG/JPEG, हर भुजा 280–1568 पिक्सेल, प्रति फ़ाइल ≤ 16 MiB; हाई-रेज़ोल्यूशन स्कैन पहले सिकोड़ें फिर भेजें, विवरण के लिए Box और छवियाँ पाठ की सीमा तालिका देखें।
- []
setup okप्रिंट हो गया,vaccination_record.jpgऔरjson_cache.jsonदोनों रनिंग डायरेक्टरी में मौजूद हैं
कदम 2: Jev छवि पहचान का पहला प्रश्न——Noul मौजूद है या नहीं, Box किस पंक्ति में
क्यों: Jev 「छवि को डेटा सूची में निकालना」 नहीं करता——यह छवि के बारे में प्रश्नों के जवाब देता है। इसलिए आधिकारिक तरीक़ा: आपके पास एक सूची है (इस क्लिनिक के 16 टीके), हर उम्मीदवार पर दो प्रश्न पूछें। यही Box हमेशा एक ही बॉक्स लौटाता है का समाधान है: Noul देखता है 「है या नहीं」, Box देखता है 「कहाँ」, Noul ना कहे तो उस बॉक्स को नज़रअंदाज़ करें।
एक रिक्वेस्ट में 33 प्रश्न भेजें: 16 टीके × (Noul + Box) + 1 Noul पूछे 「तालिका में सूची-से-बाहर कोई टीका है या नहीं」——आख़िरी वाला आधिकारिक रूप से जोड़ा गया: बाक़ी 32 प्रश्न 「सूची में कुछ छूट गया」 को नहीं पकड़ सकते। मिश्रित प्रश्न समानांतर पूछने की प्रक्रिया देखें समानांतर प्रश्न और स्पेकुलेटिव फ़ैन-आउट।
VACCINES = [
"Hepatitis A", "Hepatitis B", "Hepatitis A and B combined", "Typhoid",
"Hepatitis A and typhoid combined", "Yellow fever", "Rabies", "Japanese encephalitis",
"Tick-borne encephalitis", "Cholera", "MenACWY", "MenB",
"Tetanus, diphtheria and polio (Td/IPV)", "MMR", "Varicella", "Influenza",
]
PRESENT_CUTOFF = 0.5 # P(recorded) at or above this counts the vaccine as on the page
def find_questions() -> dict:
questions = {"unlisted": {
"type": "noul",
"instructions": {
"question": "Does the vaccines table in `page` record any vaccine that is not "
"in this list?",
"list": VACCINES,
},
}}
for i, vaccine in enumerate(VACCINES):
questions[f"vac_{i:02d}"] = {
"type": "noul",
"instructions": f"Is {vaccine} recorded in the vaccines table in `page`, with "
"exactly this name?",
}
questions[f"vac_{i:02d}|box"] = {
"type": "box",
"instructions": f"the whole {vaccine} row of the vaccines table in `page`",
}
return questions
found = ask_page(find_questions())
F = found["answers"]
present = []
for i, vaccine in enumerate(VACCINES):
p, box = F[f"vac_{i:02d}"]["noul"], F[f"vac_{i:02d}|box"]
print(f"{vaccine:<40}recorded {p:.2f} box top {box['box']['top']:.2f}")
if p >= PRESENT_CUTOFF:
present.append({"vaccine": vaccine, "present": p, "box": box["box"],
"box_confidence": box["confidence"]})
print(f"\nanother vaccine on the page: {F['unlisted']['noul']:.2f}")
rows = sorted(present, key=lambda r: r["box"]["top"]) # box tops give the page order
for n, row in enumerate(rows, 1):
row["id"], row["position"] = f"row-{n}", npython image_docs.py चलाएँ।
आपको यह दिखना चाहिए (आधिकारिक jev-1.14.0 रिकॉर्डेड अंक):
Hepatitis A recorded 0.98 box top 0.33
Hepatitis B recorded 0.98 box top 0.40
Hepatitis A and B combined recorded 0.02 box top 0.36
Typhoid recorded 0.98 box top 0.48
Hepatitis A and typhoid combined recorded 0.01 box top 0.34
Yellow fever recorded 0.98 box top 0.55
Rabies recorded 0.97 box top 0.69
Japanese encephalitis recorded 0.01 box top 0.35
Tick-borne encephalitis recorded 0.01 box top 0.34
Cholera recorded 0.01 box top 0.34
MenACWY recorded 0.00 box top 0.34
MenB recorded 0.01 box top 0.35
Tetanus, diphtheria and polio (Td/IPV) recorded 0.98 box top 0.62
MMR recorded 0.01 box top 0.33
Varicella recorded 0.01 box top 0.34
Influenza recorded 0.01 box top 0.34
another vaccine on the page: 0.02तीन तरीक़े पढ़ने के:
- मिलते-जुलते नाम इसे नहीं धोखा सकते: सूची में जानबूझकर 「हेपेटाइटिस A और B संयुक्त टीका」「हेपेटाइटिस A और टाइफ़ॉइड संयुक्त टीका」 जैसे नज़दीकी नाम रखे हैं——पृष्ठ पर असल में मौजूद 6 प्रकार सब 0.97 से ऊपर, नज़दीकी नाम सब 0.02 से नीचे, एक ही स्तर पर साफ़ अंतर
box topबिल्कुल मुफ़्त पंक्ति-क्रमांक है: 6 पंक्तियाँtopभुजा के अनुसार क्रमबद्ध हैं, ठीक वैसे ही जैसे वे पृष्ठ पर हैं——कदम 5 की क्रॉपिंग और समीक्षक को दिखाना, सब इसी क्रम पर टिका है- सूची-से-बाहर टीके भी नहीं छूटे: वह 「गेटकीपर Noul」 जवाब देता है 0.02——तालिका में सूची-से-बाहर कोई टीका नहीं। अगर यह 0.5 से ऊपर हो, पूरा पृष्ठ मानव-समीक्षा के लिए चिह्नित करें (कदम 5)
आधिकारिक रूप से एक बात और कही गई: 16 टीके 33 प्रश्न ठीक हैं, लेकिनसूची में हज़ारों आइटम हों तो प्रश्न एक रिक्वेस्ट में शायद न समा सकें (कॉन्टेक्स्ट सीमा)——पहले श्रेणी के अनुसार समूह बाँटें, हर समूह पर एक Noul से दायरा छोटा करें, फिर मिले समूहों पर आइटम-दर-आइटम विस्तार से पूछें।
💡 यही Jev छवि पहचान का अनूठा मूल्य है
हर उम्मीदवार को एक प्रायिकता, जिससे 「है या नहीं」 थ्रेशोल्ड का प्रश्न बन जाता है: 0.97 और 0.02 के बीच कोई धुँधला क्षेत्र नहीं, PRESENT_CUTOFF = 0.5 एक ही झटके में साफ़ काट देता है। मल्टीमॉडल LLM जो देता है——「मुझे हेपेटाइटिस A और B के रिकॉर्ड दिख रहे हैं」——इनमें ये अंक नहीं होते; आप बस विश्वास करने या न करने में से चुन सकते हैं।
- [] 16 पंक्तियों की प्रायिकताएँ प्रिंट हुईं: 6 प्रकार ≥ 0.97, नज़दीकी नाम ≤ 0.02,
unlisted0.02; मैं बता सकता हूँ कि आख़िरी वाला Noul क्यों नहीं हटाया जा सकता
कदम 3: Choice से वर्ष पढ़ें, पढ़ा न जाए तो unreadable जवाब दें
क्यों: पंक्ति मिलना अभी आधा खेल है, टीके का वर्ष पढ़ने पर ही पता चलेगा कि डोज़ अभी वैध है या नहीं। मुख्य जाल: Choice हमेशा एक विकल्प चुनेगा——तारीख़ स्टिकर से ढकी हो तो बिना एमरजेंसी एग्ज़िट के वह जबरन सबसे मिलता-जुलता वर्ष चुन लेगा। आधिकारिक समाधान: विकल्प सूची के अंत में other और unreadable रखें, ताकि मॉडल साफ़ कह सके 「पढ़ा नहीं जा सकता」; साथ ही एक अलग Noul पूछे 「तारीख़ पूरी तरह पढ़ने योग्य है या नहीं」, दूसरे सिग्नल के रूप में।
YEAR = {
**{f"y{n}": str(n) for n in range(2016, 2027)},
"other": "A year before 2016 or after 2026",
"unreadable": "The year is covered, stained, smudged or damaged and can't be read",
}
def read_questions(row: dict) -> dict:
where = f"the DATE GIVEN cell of the {row['vaccine']} row of the vaccines table in `page`"
i = row["id"]
return {
f"{i}|year": {
"type": "choice", "criteria": YEAR,
"instructions": "Dates on this record are written day/month/year, so the year "
f"is the last part. What year is written in {where}?",
},
f"{i}|legible": {
"type": "noul",
"instructions": f"Is the date in {where} fully legible, with nothing covering, "
"staining, smudging or blurring any of it?",
},
}
read = ask_page({k: q for row in rows for k, q in read_questions(row).items()})
A = read["answers"]
for row in rows:
i = row["id"]
row["year"], row["year_confidence"] = A[f"{i}|year"]["choice"], A[f"{i}|year"]["confidence"]
row["legible"] = A[f"{i}|legible"]["noul"]
UNRESOLVED = ("other", "unreadable") # picks that leave the row without a year
def year_given(row: dict) -> int | None:
return None if row["year"] in UNRESOLVED else int(row["year"][1:])
def as_text(row: dict) -> str:
year = year_given(row)
return str(year) if year else row["year"]
print(f"{'vaccine':<40}{'year':<12}legible")
for row in rows:
print(f"{row['vaccine']:<40}{as_text(row):<12}{row['legible']:.2f}")चलाएँ।
आपको यह दिखना चाहिए (आधिकारिक jev-1.14.0 रिकॉर्डेड अंक):
vaccine year legible
Hepatitis A 2026 0.96
Hepatitis B 2026 0.86
Typhoid 2021 0.96
Yellow fever 2025 0.96
Tetanus, diphtheria and polio (Td/IPV) 2024 0.96
Rabies unreadable 0.05दो बातें रुककर देखने लायक़ हैं:
रेबीज़ वाली पंक्ति में मॉडल ने जवाब दिया
unreadable——उसकी तारीख़ एक बैच स्टिकर से ढकी है। पठनीयता Noul ने साथ में 0.05 दिया, दोनों सिग्नल एक-दूसरे की पुष्टि करते हैं। यही एमरजेंसी एग्ज़िट का मतलब है: पढ़ा न जाना रिपोर्ट होता है, अंदाज़ा लगाया नहीं जातापढ़ने योग्य तारीख के लिए, पठनीयता Noul भी केवल 0.86–0.96 है (जिसमें 0.86 वाली पंक्ति हाइलाइटर से खिंची गई है) — Choice के विश्वास स्तर से कम, इसलिए आधिकारिक तौर पर पठनीयता के लिए अलग से कम 0.50 समीक्षा-रेखा निर्धारित की गई, 0.90 को जारी रखने के बजाय।अलग-अलग प्रश्नों के अपने अंक-पैमाने होते हैं, थ्रेशोल्ड पर एक ही कैंची न चलाएँ
छह पंक्तियों के वर्ष छप निकले; मैं बता सकता हूँ कि
otherऔरunreadableअपने-अपने क्या रोकते हैं (सूची से बाहर के वर्ष बनाम बिल्कुल पढ़े न जा सकने वाली तारीखें)
चरण 4: शुद्ध टेक्स्ट अनुरोध से वैधता अवधि की जाँच — छवि पढ़ना और निर्णय करना अलग-अलग
क्यों: यह चरण cookbook का एक बहुत सीखने योग्य डिज़ाइन है। तारीख सही पढ़ लेना पर्याप्त नहीं है — टाइफॉइड का टीका 2021 में लगा था, लिखाई साफ है, लेकिन सुरक्षा-अवधि लगभग तीन वर्ष है, 2026 वर्ष 11 माह में प्रस्थान के समय बहुत पहले बीत चुकी थी। आधिकारिक तौर पर यह निर्णयमॉडल को छवि देखकर नहीं करने दिया जाता, बल्कि पढ़े गए वर्ष को शुद्ध टेक्स्ट के रूप में तीसरे अनुरोध में भेजा जाता है: छवि साथ नहीं जाती, निर्णय केवल इस बारे में होता है कि «यह टीका प्रस्थान दिवस पर अभी भी प्रभावी है या नहीं», छवि पढ़ने से पूरी तरह अलग।
तारीख का अंकगणित (अब से कितने वर्ष पहले) कोड से पहले ही गणना कर state में रखा जाता है — तारीख की तुलना Jev की ज्ञात कमज़ोरी है, अंकगणित हमेशा कोड में रहता है।
DEPARTURE = date(2026, 11, 12) # from the traveller's booking
def before_departure(year: int) -> str:
years = DEPARTURE.year - year
return "less than a year" if years == 0 else f"about {years} year{'s' * (years != 1)}"
CHECK_CONTEXT = (
"Each entry is one line of an adult traveller's vaccination record, as read from a "
f"scan. The traveller leaves on {DEPARTURE.day} November {DEPARTURE.year}. Judge "
"only whether the dose will still protect the traveller on that date, by usual "
"travel-health guidance for adults."
)
IN_DATE_QUESTION = "Will this dose still protect the traveller on the departure date?"
IN_DATE_CRITERIA = {
"true": "The dose is within the usual protection period for this vaccine on the "
"departure date.",
"false": "The dose is past the usual protection period for this vaccine by the "
"departure date.",
}
def check_questions(readable: list[dict]) -> dict:
return {
row["id"]: {
"type": "noul",
"instructions": {"question": IN_DATE_QUESTION, "entry": row["id"]},
"criteria": IN_DATE_CRITERIA,
}
for row in readable
}
def check_state(readable: list[dict]) -> dict:
return {
"context": CHECK_CONTEXT,
"entries": [{"id": r["id"], "vaccine": r["vaccine"], "year_given": as_text(r),
"given_before_departure": before_departure(year_given(r))}
for r in readable],
}तीसरा अनुरोध न तो छवि ले जाता है, न images अनुरोध-हेडर जोड़ता है — निर्णय केवल पढ़े गए वर्ष के टेक्स्ट के बारे में है, और इस पर भी वही कैश डेकोरेटर लगाया जाता है:
@json_cache
def check(model: str, state_json: str, questions_json: str) -> dict:
started = perf_counter()
response = client.system_one(
state=json.loads(state_json), questions=json.loads(questions_json), model=model
)
return {
"answers": {k: a.noul for k, a in response.answers.items()},
"seconds": round(perf_counter() - started, 2),
}
readable = [r for r in rows if year_given(r) is not None]
checked = check(TYPESAFE_MODEL, json.dumps(check_state(readable)),
json.dumps(check_questions(readable))) if readable else {"answers": {}}
for row in rows:
row["in_date"] = checked["answers"].get(row["id"])
year = year_given(row)
ago = before_departure(year) if year else "-"
shown = " -" if row["in_date"] is None else f"{row['in_date']:.2f}"
print(f"{row['vaccine']:<40}{as_text(row):<12}{ago:<20}{shown}")चलाएँ।
आपको यह दिखना चाहिए (आधिकारिक jev-1.14.0 रिकॉर्डेड अंक):
Hepatitis A 2026 less than a year 0.94
Hepatitis B 2026 less than a year 0.83
Typhoid 2021 about 5 years 0.38
Yellow fever 2025 about 1 year 0.95
Tetanus, diphtheria and polio (Td/IPV) 2024 about 2 years 0.93
Rabies unreadable - -टाइफॉइड का टीका 0.38 — अलग निकाल लिया गया। रेबीज़ (Rabies) का कोई अंक नहीं है, क्योंकि वर्ष पढ़ा नहीं गया (चरण 3 में उत्तर unreadable था), कोड सीधे इसे इस अनुरोध में नहीं भेजता।
दो अनुरोधों में विभाजित करना ही क्यों ज़रूरी है? आधिकारिक तौर पर परिशिष्ट में एक प्रतिकूल प्रयोग किया गया — वैधता-अवधि का प्रश्न सीधे छवि से पूछा (प्रस्थान तारीख हेडर में लिखी है):
vaccine from the image from the readings
Hepatitis A 0.88 0.94
Hepatitis B 0.85 0.83
Typhoid 0.50 0.38
Yellow fever 0.96 0.95
Tetanus, diphtheria and polio (Td/IPV) 0.84 0.93
Rabies 0.88 -छवि से पूछने पर: रेबीज़ 0.88 पास हो गया (तारीख स्पष्ट रूप से स्टिकर से ढकी हुई थी); टाइफॉइड 0.50 ठीक सीमा पर था, फिर भी पास। आधिकारिक रूप से कारण स्पष्ट किया गया: एक ही उत्तर ने दोनों चरणों को ढक लिया — आप बता नहीं सकते कि मॉडल ने तारीख गलत पढ़ी, या निर्णय ही गलत था। विभाजन के बाद (इस पृष्ठ की मुख्य प्रक्रिया), रेबीज़ पढ़ने के चरण में ही रुक गया, और टाइफॉइड का निर्णय-अंक 0.38 भी मानव समीक्षा को भेजा गया।
💡 यही Jev छवि पहचान का अनूठा मूल्य है
पाइपलाइन के हर स्टेशन की अपनी प्रायिकता और अपनी समीक्षा-रेखा है — किस स्टेशन में समस्या है, किसे देखना चाहिए, उत्तर में साफ लिखा है। एक ही प्रश्न में मिला देना, दो अलार्म को एक में जोड़ने जैसा है — और दोनों खराब भी।
- टाइफॉइड 0.38, रेबीज़
-दोनों मेल खा गए; मैं परिशिष्ट के प्रतिकूल उदाहरण के संदर्भ में «छवि पढ़ना और निर्णय अलग करने» के दो लाभ बता सकता हूँ
चरण 5: कम अंक का चिह्न लगाना, Box से काटकर मानव समीक्षा को भेजना
क्यों: तीन चरणों की पढ़ाई + एक चरण का निर्णय, अब सभी कम अंकों को एक समीक्षा-सूची में समेटा जाता है। नियम पूरी तरह शुद्ध कोड हैं — Jev केवल प्रायिकता देता है, किसे मानव समीक्षा को भेजा जाए, यह आपका थ्रेशोल्ड तय करता है।
def reading_score(row: dict) -> float:
"""The weakest of the answers that say the row was found and read."""
return min(row["present"], row["year_confidence"])
def review_reasons(row: dict) -> list[str]:
reasons = []
if (row["year"] in UNRESOLVED or reading_score(row) < READ_CUTOFF
or row["legible"] < LEGIBLE_CUTOFF):
reasons.append("Check the reading")
if row["in_date"] is not None and row["in_date"] < IN_DATE_CUTOFF:
reasons.append("Check the dose")
return reasons
def page_reasons() -> list[str]:
"""Flags that belong to the whole page rather than to one row."""
if F["unlisted"]["noul"] >= PRESENT_CUTOFF:
return ["Check the page: it may record a vaccine outside the list"]
return []
for row in rows:
in_date = "–" if row["in_date"] is None else f"{row['in_date']:.2f}"
flags = ", ".join(review_reasons(row)) or "–"
print(f"| {row['vaccine']} | {as_text(row)} | {reading_score(row):.2f} | "
f"{row['legible']:.2f} | {in_date} | {flags} |")
print(f"page: {', '.join(page_reasons()) or 'not flagged'}")चलाएँ।
आपको यह दिखना चाहिए (आधिकारिक jev-1.14.0 रिकॉर्डेड अंक):
| Hepatitis A | 2026 | 0.98 | 0.96 | 0.94 | – |
| Hepatitis B | 2026 | 0.98 | 0.86 | 0.83 | – |
| Typhoid | 2021 | 0.98 | 0.96 | 0.38 | Check the dose |
| Yellow fever | 2025 | 0.98 | 0.96 | 0.95 | – |
| Tetanus, diphtheria and polio (Td/IPV) | 2024 | 0.98 | 0.96 | 0.93 | – |
| Rabies | unreadable | 0.97 | 0.05 | – | Check the reading |
page: not flagged (another vaccine on the page: 0.02)दो पंक्ति-स्तरीय चिह्न-नियम, एक पृष्ठ-स्तरीय नियम:
- «पढ़ाई की जाँच»: वर्ष
other/unreadableमें आए, पढ़ाई का अंक (presentऔरyear_confidenceमें से कमज़ोर) 0.90 से नीचे, पठनीयता 0.50 से नीचे — इनमें से कोई भी एक लागू होने पर - «टीके की जाँच»: वैधता-अवधि का अंक 0.50 से नीचे। ध्यान देंटाइफॉइड का उच्च पढ़ाई-अंक कम निर्णय-अंक की भरपाई नहीं कर सकता — आधिकारिक मूल शब्द: निर्णय एक संभावित रूप से गलत पढ़े गए वर्ष पर आधारित है, दोनों चिह्न एक-दूसरे की भरपाई नहीं करते
- पृष्ठ-स्तरीय चिह्न:
unlistedका Noul ≥ 0.5 होने पर पूरा पृष्ठ समीक्षा को भेजें — उस टीके की अपनी पंक्ति नहीं है, पंक्ति-स्तरीय नियम उसे नहीं पकड़ सकते
अंत में मानव के देखने वाला भाग: Box से चिह्नित पूरी पंक्ति काटें (आधिकारिक कोड matplotlib से चित्र बनाता है, यहाँ काटने का मूल भाग दिया जा रहा है — चरण 2 में सहेजा गया box अब काम आता है):
PAD = 0.02 # fraction of the page added around each box before cropping
LOW_BOX_CONFIDENCE, LOW_PAD = 0.6, 0.05 # a less certain box gets a wider margin
def crop(box: dict, confidence: float):
from PIL import Image
page = Image.open(PAGE)
w, h = page.size
pad = LOW_PAD if confidence < LOW_BOX_CONFIDENCE else PAD
top, bottom = max(0.0, box["top"] - pad), min(1.0, box["bottom"] + pad)
left, right = max(0.0, box["left"] - pad), min(1.0, box["right"] + pad)
return page.crop((int(left * w), int(top * h), int(right * w), int(bottom * h)))
for row in rows:
if review_reasons(row):
crop(row["box"], row["box_confidence"]).save(f"review-{row['id']}.jpg")
print(f"saved review-{row['id']}.jpg ({', '.join(review_reasons(row))})")चलाने के बाद, review-row-3.jpg (टाइफॉइड, टीके की जाँच) और review-row-6.jpg (रेबीज़, पढ़ाई की जाँच) रन डायरेक्टरी में आते हैं — समीक्षा करने वाले को पूरे स्कैन पृष्ठ पर खोजने की ज़रूरत नहीं, सीधे काटी गई पंक्ति देखें।
आधिकारिक रूप से अंत में पैरामीटर-समायोजन सलाह दी गई: ये थ्रेशोल्ड (0.90 / 0.50 / 0.50) शुरुआती बिंदु हैं, कोई फ़रमान नहीं — मानव-जाँचे गए रिकॉर्ड से अपनी खुद की रेखा निकालें। थ्रेशोल्ड विचार के सिद्धांत के लिए देखें Confidence विश्वास स्तर।
- दोनों चिह्न एक-दूसरे की भरपाई नहीं करते: टाइफॉइड पर केवल टीके का चिह्न, रेबीज़ पर केवल पढ़ाई का चिह्न; मेरा
review-*.jpgकाटकर निकल आया
चरण 6: चालान OCR जाँच — दो बार जाँच से तीन गलत पढ़ने पकड़े गए
क्यों: स्कैन पृष्ठ पढ़ लिया गया, अब उल्टा क्या? OCR चालान की फ़ोटो से मान निकालता है — अधिकांश सही होते हैं, लेकिन एक-एक कर जाँचने में हाथ से टाइप करने जितना ही समय लगता है। आधिकारिक रणनीति: Jev प्रत्येक निकाले गए मान कीदो बार जाँच — पूरे पृष्ठ से एक बार (पृष्ठ-जाँच), काटी गई छवि से दोबारा (क्रॉप-जाँच), कोई भी 0.25 से नीचे हो तो मानव को भेजें। समीक्षा करने वाला केवल चिह्नित मान देखता है।
परिदृश्य बहुत यथार्थ है: एक गहरी सिलवटों वाला कार्बन-कॉपी चालान (Milkwood, 1393×1080), एक बीच में छाया वाला (Siyakhula, 899×1599) — OCR ने 8 फ़ील्ड पढ़े (आपूर्तिकर्ता, चालान संख्या, तारीख, देय राशि, बैंक की चार मदें), जिनमेंतीन गलत पढ़े गए:
| चालान | फ़ील्ड | OCR ने निकाला | कागज़ पर छपा |
|---|---|---|---|
| Milkwood | चालान संख्या | AN400074 | IN400074 |
| Siyakhula | चालान संख्या | INV03070 | INV03079 |
| Siyakhula | तारीख | 16/09/2028 | 16/09/2026 |
आधिकारिक आँकड़े jev-1.14.0 (2026-10-15 रिकॉर्डिंग) से हैं। इस भाग के लिए typesafe-sdk[pil] एक्सटेंशन अलग से इंस्टॉल करना और दूसरा उदाहरण-सेट डाउनलोड करना होगा, निर्भरता और डाउनलोड:
pip install ipython pillow 'typesafe-sdk[pil]>=0.7.5' 'cooksafe>=0.2.0,<0.3.0'चालान की फ़ोटो, extractions.json (OCR ने निकाले मान) और दूसरा json_cache.json आधिकारिक उदाहरण रिपॉज़िटरी की ocr_confidence_bounding_boxes डायरेक्टरी से डाउनलोड करें, फ़ोटो inputs/ फ़ोल्डर में रखें। ध्यान दें कि यह कैश चरण 1 के json_cache.json के नाम से मेल खाता है, एक ही डायरेक्टरी में रखने पर एक-दूसरे को अधिलेखित कर देंगे — चालान उदाहरण के लिए अलग फ़ोल्डर बनाएँ, या पहले पाँचों चरण पूरे चलाकर फिर डाउनलोड करें। आधिकारिक रूप से स्पष्ट कहा गया: OCR और LLM के वे दो चरण (उन्होंने Apple Vision और एक LLM का उपयोग किया) कोड में नहीं हैं — कोई भी एक्स्ट्रैक्टर चलेगा, क्योंकि जाँच को केवल फ़ोटो और निकाले गए मान चाहिए।
तीन अनुरोध, प्रत्येक चालान के लिए एक बार। पहला अनुरोध: पूरे पृष्ठ की फ़ोटो + प्रत्येक फ़ील्ड के लिए दो प्रश्न (Box से स्थान खोजना, Noul से जाँच कि «निकाला गया मान इसी फ़ील्ड का है या नहीं»):
FIELDS = {
# field: what it is, in the words every question uses
"supplier_name": "the supplier's (seller's) business name",
"invoice_number": "the invoice or document number",
"invoice_date": "the invoice date",
"amount_due": "the final total amount payable",
"bank_name": "the name of the supplier's bank in the payment details",
"account_holder": "the account holder name in the supplier's bank details",
"account_number": "the supplier's bank account number",
"branch_code": "the supplier's bank branch code",
}
SAME_VALUE = "Ignore differences in spacing, punctuation, currency symbols and letter case."
# request 1: the whole photo, a Box + a Noul per field
def page_questions(values: dict) -> dict:
from typesafe_sdk import Box, Noul
questions = {}
for field, value in sorted(values.items()):
questions[f"box_{field}"] = Box(
instructions=f"{FIELDS[field]}, printed as “{value}” in `page`"
)
questions[f"fits_{field}"] = Noul(
instructions=f"Is “{value}” {FIELDS[field]} on `page`? {SAME_VALUE}"
)
return questionsदूसरा अनुरोध हर फ़ील्ड के बॉक्स के चारों ओर का क्षेत्र काटकरबड़ा करके दोबारा Box से पूछता है (क्षेत्र कम से कम पेज चौड़ाई का 30%, पेज ऊँचाई का 15% है, पहली बार बॉक्स टेढ़ा हो तो भी क्षेत्र से बाहर नहीं जाएगा); तीसरा अनुरोध हर नए बॉक्स (चारों ओर मार्जिन जोड़कर) काटकर एक Noul पूछता है: «क्या इस क्रॉप की गई तस्वीर पर यह मान साफ़ छपा है? कटा हुआ, अस्पष्ट, या अलग हो तो ना कहो» — Ignore differences in spacing, punctuation... से स्पेस, विराम चिह्न, केस, करेंसी प्रतीक के अंतर को ग़लती नहीं गिना जाता। हर फ़ील्ड की क्रॉप तस्वीर अपने-अपने सवाल के instructions में जुड़ी होती है, client.attach_assets() से एक साथ भेजी जाती है (तस्वीर को मुख्य पाठ में जोड़ने का तंत्र Box और तस्वीरें पाठ के उन्नत तरीकों वाले पाठ में)।
सब एक निर्णय फ़ंक्शन में आता है: कोई भी जाँच BAR = 0.25 से नीचे हो तो review। ऑफ़िशियल रन के बाद का स्कोरबोर्ड:
photo # field extracted fits page crop verdict
milkwood.jpg 1 supplier_name MILKWOOD mushrooms 0.98 0.95 ok
milkwood.jpg 2 invoice_number AN400074 0.88 0.18 REVIEW
milkwood.jpg 3 invoice_date 01/09/2026 0.53 0.82 ok
milkwood.jpg 4 amount_due 504.70 0.95 0.80 ok
milkwood.jpg 5 bank_name Standard Bank 0.98 0.53 ok
milkwood.jpg 6 account_holder MILKWOOD 0.90 0.57 ok
milkwood.jpg 7 account_number 080 11 4941 0.35 0.92 ok
siyakhula.jpg 1 supplier_name Siyakhula Trading Services 0.96 0.31 ok
siyakhula.jpg 2 invoice_number INV03070 0.02 0.04 REVIEW
siyakhula.jpg 3 invoice_date 16/09/2028 0.17 0.66 REVIEW
siyakhula.jpg 4 amount_due R1,305.65 0.97 0.84 ok
siyakhula.jpg 5 bank_name Standard Bank 0.97 0.98 ok
siyakhula.jpg 6 account_holder Siyakhula Trading 0.93 0.96 ok
siyakhula.jpg 7 account_number 10 13 205 260 5 0.96 0.78 ok
siyakhula.jpg 8 branch_code 051001 0.97 0.94 okतीन ग़लत पढ़ों के स्कोर देखो — यह पूरे पाठ की सबसे ज़रूरी तालिका है:
AN400074(कागज़ पर छपा हैIN400074, पहला अक्षर I को A समझ लिया गया): पेज जाँच 0.88 ने छोड़ दिया (पूरे पेज की तस्वीर में छोटे अक्षर बहुत छोटे थे), क्रॉप जाँच 0.18 ने पकड़ा16/09/2028(कागज़ पर छपा है16/09/2026, आख़िरी अंक 6 को 8 समझ लिया गया): क्रॉप जाँच 0.66 ने छोड़ दिया, पेज जाँच 0.17 ने पकड़ाINV03070(कागज़ पर छपा हैINV03079, आख़िरी अंक 9 को 0 समझ लिया गया): दोनों में कम (0.02 / 0.04), दोनों ने मारा
ऑफ़िशियल के शब्द: अकेली किसी भी एक जाँच से तीनों जगह नहीं पकड़े जाते। दोनों जाँचों का नज़रिया एक-दूसरे का पूरक है — पूरा पेज देखता है «यह मान इस लेआउट में फ़िट बैठता है या नहीं», क्रॉप देखता है «ये अक्षर आख़िरकार यही हैं या नहीं»। और पूरी तरह सही मान दोनों बार पास हुए (सबसे कम 0.35 / 0.31)।
- मैं बता सकता हूँ कि तीनों ग़लत पढ़ में से हर एक को किस जाँच ने पकड़ा, किस ने छोड़ा;
BAR = 0.25का निर्णय «या» है, «और» नहीं
📋 जादुई Prompt
इस पेज के «Prompt» सवाल और कोड टेम्पलेट हैं — कॉपी करो, 【】 प्लेसहोल्डर बदलो और अपनी स्कैन फ़ाइलों पर लगा लो। तीन चीज़ें: पंक्ति ढूँढने वाली जोड़ी, मान पढ़ने का एमरजेंसी रास्ता, OCR डबल जाँच।
📝 पंक्ति ढूँढने वाली जोड़ी (Noul + Box संस्करण)
अपेक्षित परिणाम: जो भी ज़रूरत «सूची की चीज़ें दस्तावेज़ में हो सकती हैं, ढूँढनी और स्थान बताना है» — टीके, हस्ताक्षर, मुहर, प्रविष्टि पंक्तियाँ — सूची बदलकर वही सवाल चल जाता है।
# 必填项:【清单】换你要找的东西列表;instructions 里的 `page` 换你的图在 state 里的字段名
questions = {
"unlisted": Noul(instructions={
"question": "Does the table in `page` record any 【东西类型】 that is not in this list?",
"list": 【清单】,
}),
}
for i, item in enumerate(【清单】):
questions[f"item_{i:02d}"] = Noul(
instructions=f"Is 【东西】 recorded in the table in `page`, with exactly this name?")
questions[f"item_{i:02d}|box"] = Box(
instructions=f"the whole 【东西】 row of the table in `page`")
# 选填项:近亲名称故意放进清单里测区分度(官方放了 Hepatitis A and B combined)?
# 输出规范:P(yes) ≥ 0.5 视为在页上;按 box["box"]["top"] 排序得到页面顺序
# 约束条件:
# ✅ Noul 说不在页上,就不理会它那个 Box——Box 永远返回一个框
# ✅ unlisted 那道守门题保留:行级规则抓不到「列表漏了」
# ❌ 清单几千项别硬塞一个请求——先按组 Noul 预筛,再对命中组细问✅ मान पढ़ने का एमरजेंसी रास्ता (Choice संस्करण)
अपेक्षित परिणाम: तस्वीर से किसी भी बंद सेट का मान पढ़ना (साल, महीना, मूल्यवर्ग, संस्करण संख्या), पढ़ न पाने पर मनगढ़ंत अंदाज़ा नहीं बल्कि साफ़ unreadable मिलता है।
# 必填项:【选项集】+ 两个逃生舱;【值在原文里的写法】写进 instructions 帮模型定位
VALUE = {
**{【你的选项集】},
"other": "【选项集之外的值】",
"unreadable": "The value is covered, stained, smudged or damaged and can't be read",
}
question = Choice(
instructions="【值在原文里怎么写的(如 day/month/year,年份是最后一部分)】"
"What 【值】 is written in 【位置描述,如 the DATE GIVEN cell of the X row】?",
criteria=VALUE,
)
# 选填项:旁边加一道 Noul 问「这段完全可读吗」做第二信号(官方:可读性的分数尺度更低,阈值单独设)?
# 输出规范:answer.choice + answer.confidence;other/unreadable 让该行无值可判,直接送人工
# 约束条件:
# ✅ Choice 永远挑一个——没有逃生舱它就硬猜,这是本模板存在的理由
# ❌ 不要把「读值」和「按值判断」合并成一道题对着图问(见第 4 步附录反例)🔧 OCR डबल जाँच पाइपलाइन (कोड संस्करण)
अपेक्षित परिणाम: OCR से निकाले हर फ़ील्ड की दो बार जाँच, थ्रेशोल्ड से नीचे होने पर मानव समीक्षा और समीक्षा बॉक्स बनाना।
BAR = 0.25 # a check scoring below this flags the field
def check_invoice(photo, values) -> dict:
first = find_fields(photo, values) # 请求 1:整页 Box + Noul 页面核对
tight = zoom_fields(photo, values, first["boxes"]) # 请求 2:放大重框
shown = check_crops(photo, values, tight["boxes"]) # 请求 3:裁剪 Noul 细看
return {
field: {
"value": values[field],
"box": tight["boxes"][field],
"fits": first["fits"][field], # 页面核对分
"shows": shown["shows"][field], # 裁剪核对分
"review": first["fits"][field] < BAR or shown["shows"][field] < BAR,
}
for field in sorted(values)
}
# 必填项:【照片】【values:OCR 抽出的字段 map】;阈值 BAR 按你的容错调
# 选填项:复核框画在原图上——review 橙色、通过蓝色,复核的人对着位置看?
# 输出规范:每字段 {value, box, fits, shows, review};review=True 进人工队列
# 约束条件:
# ✅ 任一检查低于阈值就转人工——「或」不是「且」(单次检查抓不全)
# ✅ SAME_VALUE 句式保留:空格、标点、大小写、货币符号差异不算错
# ❌ 别指望整页一次看全:小字要靠裁剪放大,两次检查视角互补चेकपॉइंट ✅
- मैंने टीका स्कैन फ़ाइल की पूरी प्रक्रिया चलाई: 33 सवालों से पंक्ति ढूँढी → Choice से साल पढ़ा (
unreadableएमरजेंसी रास्ता) → प्योर टेक्स्ट अनुरोध से वैधता जाँची → कम स्कोर पर फ़्लैग + क्रॉप - मैं बता सकता हूँ कि तस्वीर पढ़ने और निर्णय को दो अनुरोधों में क्यों बाँटा जाता है, और मिलाजुला संस्करण क्या छोड़ गया (रेबीज़ 0.88 पास, टाइफ़ॉइड 0.50 काफ़ी बाल-बाल बचा)
- मैं स्कोरबोर्ड देखकर बता सकता हूँ कि तीनों OCR ग़लत पढ़ में से हर एक किस जाँच ने पकड़ी:
AN400074क्रॉप,16/09/2028पूरा पेज,INV03070दोनों ने मारा - मेरे सारे थ्रेशोल्ड का मालिक लिखा है: पढ़ा हुआ मान 0.90, पठनीयता 0.50, वैधता 0.50, OCR 0.25 — और मैं जानता हूँ कि मानव-जाँचे नमूनों से खुद ट्यून करने हैं
- मैं जानता हूँ कि दोनों अनुरोधों में
TypeSafe-Danger-Zone-Images: trueलगा है, तीसरे प्योर टेक्स्ट अनुरोध में नहीं लगाना
सावधानी की याद दिलाना
❌ एमरजेंसी रास्ता न दो, तो Choice मनमर्ज़ी से अंदाज़ा लगाता है
स्टिकर से ढकी तारीख़, दाग़ से लीपड़ी संख्या — Choice हमेशा एक विकल्प चुनता है, «पढ़ नहीं पाया» का रास्ता न हो तो वह तुम्हें सबसे मिलता-जुलता साल दे देगा, और confidence भी कम नहीं होगा। ऑफ़िशियल हल दोहरी सुरक्षा: विकल्प सूची के आख़िर में other (सूची से बाहर) और unreadable (पढ़ नहीं पाया), साथ में एक अलग पठनीयता Noul। ऑफ़िशियल उदाहरण में रेबीज़ वाली पंक्ति: Choice ने unreadable, पठनीयता Noul 0.05, दोनों संकेत सही।
❌ तस्वीर पढ़ना और निर्णय एक ही सवाल में मिला देना
«क्या यह टीका प्रस्थान दिन पर अभी वैध है? प्रस्थान तारीख़ हेडर पर है» — तस्वीर के सामने सीधे पूछने पर, ऑफ़िशियल टेस्ट में रेबीज़ को 0.88 मिलकर पास (तारीख़ साफ़-साफ़ ढकी थी), टाइफ़ॉइड 0.50 पर बाल-बाल बचा। कारण: एक जवाब दो कदमों को ढक लेता है, तुम नहीं बता सकते कि पढ़ा ग़लत था या निर्णय ग़लत। सही बँटाई: तस्वीर पढ़ने वाला अनुरोध संरचित पढ़ा हुआ मान देता है, निर्णय अनुरोध सिर्फ़ टेक्स्ट लेता है — रेबीज़ पढ़ने के कदम पर रुक जाता है, टाइफ़ॉइड का निर्णय 0.38 मानव समीक्षा को जाता है।
❌ Box का बॉक्स सीधे सच मान लेना
Box हमेशा एक बॉक्स लौटाता है — तस्वीर में जो नहीं है, उसके भी चार किनारे दे देता है। टीका रिकॉर्ड में 10 ऐसे टीके जो पेज पर नहीं थे, हर एक का box top 0.33 जैसा बॉक्स बना। सही तरीका वही है जो कदम 2 की जोड़ी में है: Noul कहे कि है (≥ 0.5) तभी बॉक्स इस्तेमाल करो; सूची से बाहर वाला गेटकीपर Noul ≥ 0.5 हो तो पूरा पेज समीक्षा को भेजो। एक और बात: BoxAnswer का confidence API schema के मुताबिक null हो सकता है (मॉडल न दे तो), थ्रेशोल्ड जाँचने से पहले खालीपन देखो, वरना कोड सीधा TypeError देगा।
❌ छोटी तस्वीर सीधे भेजना, बड़ी तस्वीर सिकोड़ना नहीं
API की तस्वीर सीमा पार होने पर सीधे मना कर देता है, अपने-आप स्केल नहीं करता: PNG/JPEG स्थिर तस्वीरें, हर किनारा 280–1568 पिक्सेल, कुल पिक्सेल 78,400–2,458,624, प्रति फ़ाइल ≤ 16 MiB। हाई-रेज़ोल्यूशन स्कैन का सबसे लंबा किनारा पहले 1568 तक दबाओ; उल्टा, काटी गई छोटी तस्वीर का 280 से छोटा किनारा बड़ा करो (ऑफ़िशियल ने बड़ा करके दोबारा बॉक्स वाली क्षेत्र तस्वीर 1200 तक, क्रॉप जाँच की तस्वीर 800 तक बड़ी करके भेजी, बहुत छोटी हो तो सफ़ेद कैनवास के बीच में चिपकाओ, कैनवास की जगह नोट करके कोऑर्डिनेट में वापस बदलो)। एक और चुपके से चलने वाली बात: API प्रोसेस करते समय दोबारा एनकोड करता है, प्रोसेस की हुई तस्वीर मूल फ़ाइल से बड़ी भी हो सकती है — ढेर सारी छोटी तस्वीरें भेजने पर भी «अनुरोध की सभी तस्वीरों का कुल 32 MiB» वाली सीमा टकरा सकती है।
उन्नत तरीके (वैकल्पिक)
वही पैटर्न लगातार वीडियो फ़्रेमों पर: चिड़िया-कैम प्रजाति लॉग। ऑफ़िशियल तीसरी तस्वीर cookbook (Feeder-cam visit log): 101 सेकंड का चिड़िया-कैम वीडियो, हर सेकंड एक फ़्रेम, हर फ़्रेम पर 5 सवाल — कोई पक्षी है या नहीं (Noul), कितने (Choice: none/one/several), सबसे चमकीला पक्षी कहाँ है (Box), सबसे बाएँ और सबसे दाएँ पक्षी कौन-सी प्रजाति हैं (दो Choice, 10 प्रजातियाँ प्लस other, हर विकल्प में लिखा है «यह पक्षी कैम के दृश्य में कैसा दिखता है», field guide जैसा विवरण नहीं)। ऑफ़िशियल नतीजा: bird_present और मानव-अंकित 101/101 सब सही, प्रजाति पहचान सही 132/133; हर फ़्रेम का माध्य समय 0.54 सेकंड, 4 थ्रेड समानांतर।
तीन ऐसे डिज़ाइन जो उतारने लायक हैं: पहला, Box हर सवाल के लिए सिर्फ़ एक ही बॉक्स लौटाता है—जब दो पक्षी एक ही फ्रेम में हों तो दूसरे अनुरोध मेंप्रजाति के नाम के हिसाब सेहर एक के लिए अलग बॉक्स माँगें («the male northern cardinal (the bright red bird)»); दो बॉक्स का ओवरलैप (intersection over union) ≥ 0.6 हो तो उसे एक ही पक्षी की दो बार पहचान मानें, सिर्फ़ उच्च confidence वाला रखें। दूसरा, visits() फ्रेम के जवाबों को «आगंतुक लॉग» में बदलता है—तीनों पैरामीटर (प्रजाति की संभावना ≥ 0.6, गैप ≤ 2 फ्रेम, कम से कम 2 फ्रेम तभी एक आगंतुक मानें)पूरी तरह कोड का काम हैं,Jev को नहीं दिखते—पैरामीटर दोबारा छेड़ने पर अनुरोध दोबारा भेजने की ज़रूरत नहीं। तीसरा, एक ही प्रजाति के पक्षियों का झुंड अलग-अलग नहीं बचता—आधिकारिक सलाह है कि ज़ीरो-शॉट डिटेक्टर (जैसे Meta का SAM 3) पहले «bird» के तौर पर सारे बॉक्स ढूँढे,Jev फिर हर क्रॉप किए पक्षी पर प्रजाति पहचानी जाए।
चीनी स्कैन दस्तावेज़ों को पहले परखें, फिर लागू करें। आधिकारिक विवरण के मुताबिकJev मुख्य रूप से अंग्रेज़ी पर प्रशिक्षित है,अन्य भाषाएँ (चीनी समेत) चलती हैं लेकिन सटीकता कम होती है—चीनी दस्तावेज़ लाइव करने से पहले अपने ही स्कैन का एक बैच चलाएँ, खासकर संभावना वितरण और confidence देखें (भाषा समर्थन का विवरण देखेंमॉडल और मूल्य)।
लागत का हिसाब पहले से रखें। इमेज का अलग मूल्य नहीं है—हर इमेज इनपुट टोकन के हिसाब से बिल होती है, टेक्स्ट जितनी ही दर पर;usage.input_tokens में सारी इमेज के टोकन शामिल हैं; इमेज कंटेक्स्ट भी घेरती हैं (64k per-request / 32k per-question), एक साथ बहुत सारी इमेज ठूँसने पर max_tokens_exceeded हो जाता है। आधिकारिक उदाहरण का कैश तंत्र विकास काल के पैसे बचाता है: जवाब अनुरोध की सामग्री के हिसाब से कैश होते हैं, दोबारा चलाने पर दोबारा नहीं भेजना पड़ता।
अपने ही दस्तावेज़ जोड़ें। आधिकारिक तौर पर साफ़ कहा गया है कि यह तरीका किसी भी ऐसे दस्तावेज़ पर फिट होता है जिसका «जवाबों का सेट पहले से पता हो»:VACCINES की जगह अपनी सूची,YEAR की जगह अपनी वैल्यू रेंज, वैधता के सवाल की जगह अपना बिज़नेस निर्णय;other और unreadable दोनों आपात रास्ते बने रहते हैं। वैल्यू निकालने (तारीख़, ईमेल, फ़ोन, रक़म) का शुद्ध-टेक्स्ट संस्करण देखेंवैल्यू निष्कर्षण; निष्कर्षण और सत्यापन को कई मॉडलों में कैसे बाँटकर पैसे बचाएँ, यह देखेंकैस्केड निष्कर्षण।
इस पाठ का सारांश
✅ Jev इमेज पहचान से स्कैन दस्तावेज़ पढ़ना: Noul पता लगाता है कि है या नहीं, Box बताता है किस लाइन में है (top किनारे का क्रम ही पृष्ठ का क्रम है), Choice other/unreadable आपात रास्तों के साथ वैल्यू पढ़ता है—जो पढ़ा नहीं जा सका वह रिपोर्ट होता है, अंदाज़ा नहीं लगाया जाता।
✅ इमेज पढ़ना और निर्णय लेना अलग-अलग: पढ़ने के अनुरोध में इमेज होती है, निर्णय का अनुरोध शुद्ध टेक्स्ट होता है। आधिकारिक उल्टा उदाहरण: दोनों को एक सवाल में मिलाने पर, रेबीज़ 0.88 पर छूट गया, टाइफ़ॉइड 0.50 पर बाल-बाल बच गया—एक जवाब दोनों चरणों को ढक लेता है, अलार्म पूरी तरह बंद हो जाते हैं।
✅ OCR डबल-चेक: पूरे पृष्ठ का सत्यापन + क्रॉप का सत्यापन, कोई भी 0.25 से नीचे हो तो मानव के पास भेजें। तीनों गलत पढ़ने के मामले पकड़े गए; किसी एक जाँच पर भरोसा करने पर कुछ छूट जाते। सत्यापन बॉक्स मूल इमेज पर बनते हैं, मानव सिर्फ़ चिह्नित हिस्से देखता है।
✅ वीडियो फ्रेम पर भी वही तरीका: गेटकीपर Noul + Box + Choice प्रजाति सवाल, 101/101 से तय करें कि पक्षी है या नहीं; आगंतुक लॉग के सारे थ्रेशोल्ड कोड में हैं, पैरामीटर बदलने पर अनुरोध दोबारा नहीं भेजना पड़ता।
मुख्य कॉन्फ़िगरेशन फ़ील्ड की समीक्षा:
| फ़ील्ड | इस पृष्ठ की वैल्यू | विवरण |
|---|---|---|
TYPESAFE_MODEL | jev-1.14.0 | Box सवालों के लिए Jev 1.14 चाहिए; वर्ज़न ID पिन करें, बहने वाला jev-latest इस्तेमाल न करें |
IMAGES_ON | {"TypeSafe-Danger-Zone-Images": "true"} | हर इमेज/Box वाले अनुरोध के लिए ज़रूरी; शुद्ध-टेक्स्ट अनुरोधों को नहीं |
PRESENT_CUTOFF | 0.5 | P(पृष्ठ पर है) ≥ 0.5 तभी वह Box इस्तेमाल करें |
READ_CUTOFF / LEGIBLE_CUTOFF | 0.90 / 0.50 | पढ़ने का स्कोर और पढ़ने-योग्यता का स्कोर अलग पैमाने पर हैं, थ्रेशोल्ड अलग-अलग रखें |
IN_DATE_CUTOFF | 0.50 | वैधता निर्णय इससे नीचे हो तो मानव के पास; पढ़ने के मार्कर से एक-दूसरे की भरपाई नहीं होती |
BAR | 0.25 | OCR डबल-चेक की समीक्षा रेखा; कोई भी जाँच इससे नीचे होते ही review |
unreadable / other | आपात रास्ते | पहला «पढ़ा नहीं जा सका» रोकता है, दूसरा «रेंज से बाहर» रोकता है |
| इमेज सीमाएँ | हर किनारा 280–1568 पिक्सेल, प्रति फ़ाइल ≤ 16 MiB | सीमा पार होने पर सीधा इनकार, सिकोड़ा नहीं जाता; छोटी क्रॉप इमेज बड़ी करके भेजें |
संबंधित ट्यूटोरियल:
- Box और इमेज—इस पृष्ठ की नींव: Image लगाने का तरीका, चार किनारों का रूपांतरण, Noul गेटकीपर
- वैल्यू निष्कर्षण—तारीख़, ईमेल, फ़ोन, रक़म का शुद्ध-टेक्स्ट निष्कर्षण: घटक-वार सवाल + रेगेक्स उम्मीदवार
- Confidence विश्वास स्तर—तीन स्तर का इस्तेमाल (उच्च स्वचालित निष्पादन / मध्यम चिह्नित / निम्न मानव के पास) और जोखिम के हिसाब से थ्रेशोल्ड ट्यून करना
अगले पाठ की झलक
C रूट यहीं पूरा होता है: टेक्स्ट का निर्णय, वैल्यू का निष्कर्षण, इमेज की पहचान—तीनों आपके पास हैं। अब एडवांस्ड मैनुअल में प्रवेश—Jev का दूसरा रूप: ब्राउज़र Agent। अगला पाठ: एडवांस्ड मैनुअल: Jev Ultrafast ब्राउज़र Agent और ख़ामियों से बचने की गाइड।
आप सीखेंगे:
- Jev Ultrafast क्या है: एक लक्ष्य दें, Jev ऑपरेशन और एलिमेंट चुनता है, छोटा LLM सिर्फ़ टाइप करते समय स्ट्रिंग लिखता है
- डायनामिक इंडेक्स्ड एक्शन स्पेस: हर अवलोकन पर नया एलिमेंट टेबल बनता है, एक ही राउंड-ट्रिप में ऑपरेशन और लक्ष्य दोनों तय होते हैं
- 7 सेकंड में एक असली Google Flights सर्च पूरा करने का सिद्धांत और इंस्टॉलेशन
- Jev 1.13 के 9 ज्ञात विफलता मोड—इस पृष्ठ के «सवाल तोड़ने» विचार का दूसरा पहलू