परफ़ॉर्मेंस की व्याख्या: 7.073 सेकंड कैसे मापा गया
पिछले पाठ में आपने खुद देखा कि agent ने 7 सेकंड में उड़ानें खोज लीं। यह पाठ स्टॉपवॉच को खोलता है——7.073 सेकंड कोई विज्ञापन वाक्य नहीं, बल्कि पूर्ण माप सीमाओं के साथ एक रिकॉर्डिंग है: आधिकारिक रूप से न केवल रिपोर्ट दी गई, बल्कि कच्चे माप JSON को भी रिपॉज़िटरी में रखा गया, जिसमें सोर्स कोड हैश और ब्राउज़र संस्करण तक शामिल हैं। Jev Ultrafast परफ़ॉर्मेंस डेटा को ठीक से पढ़कर आप न केवल इसे पुनरुत्पादित कर सकते हैं, बल्कि इस पद्धति की नकल करके अपने खुद के agent को माप सकते हैं।
इस पाठ के आंकड़े मुख्य रूप से आपके द्वारा clone किए गए jev-ultrafast रिपॉज़िटरी की तीन फ़ाइलों से हैं: docs/performance.md (रिपोर्ट मुख्य भाग), docs/flights-measurement.json (रिकॉर्डिंग डेटा), docs/full-speed-measurement.json (तुलनात्मक प्रयोग डेटा)।
सीखने के बाद आप क्या कर सकते हैं
- 7.073 सेकंड की टाइमिंग परिभाषा बता सकना: पहली भविष्यवाणी से शुरू, DONE स्वीकार करने पर रुकना, घड़ी के भीतर पाँच और बाहर तीन चीज़ें क्या हैं
- रिकॉर्डिंग का बिल खोलना: 17 निर्णय अनुरोध (मीडियन 178 ms, कुल 3,720 ms), 2 टेक्स्ट जनरेशन, 11 क्रियाएँ, और हर क्रिया किस सेकंड पर निष्पादित हुई
- 9.450 → 7.092 सेकंड तुलनात्मक प्रयोग की रूपरेखा समझना, और समझाना कि आधिकारिक रूप से स्वयं क्यों कहा गया कि「3 नमूने बहुत कम हैं, यह सामान्य बेंचमार्क नहीं है」
- स्पष्ट करना कि अनुकूलन ने क्या काटा: ब्राउज़र प्रोटोकॉल कॉल 1,092 → 101, जिसमें 828 बार DOM.resolveNode सीधे शून्य
examples/flights.pyके trace से उसी परिभाषा को संरेखित करके अपने खुद के सेकंड मापना
आपकी वर्तमान दुविधा
- 「आधिकारिक रूप से 7 सेकंड कहा गया, मुझे 12 सेकंड मिले——कहीं यह आंकड़ा सबसे अच्छा रन चुनकर तो नहीं?」परिभाषा न जानने पर तुलना करना व्यर्थ है
- रिपोर्ट में इन ultrafast स्पीड आंकड़ों को उद्धृत करना चाहते हैं, लेकिन「कैसे मापा गया」पूछे जाने पर आत्मविश्वास खो देते हैं
- अपने बनाए browser agent के लिए परफ़ॉर्मेंस तुलना चलाना चाहते हैं, लेकिन यह नहीं पता कि कौन से चर नियंत्रित करने हैं: मॉडल? नेटवर्क? ब्राउज़र? नकल करने के लिए कोई ढाँचा तक नहीं मिलता
यह तरीका कब उपयोग करें
जब आपको यह चाहिए:
- Jev Ultrafast के परफ़ॉर्मेंस आंकड़ों को बताना या उद्धृत करना, और「कैसे मापा गया」के एक सवाल का सामना करना
- खुद browser agent के लिए परफ़ॉर्मेंस तुलना करना, एक तैयार माप ढाँचा (परिभाषा, स्वतंत्र सत्यापन, नमूना आकार घोषणा) चाहिए जिसकी नकल की जा सके
- यह तय करना कि ये आंकड़े आपके परिदृश्य के लिए उपयुक्त हैं या नहीं: यह एकल कार्य, live नेटवर्क, छोटा नमूना है
और आप यह नहीं चाहते:
- एक बार के रन के सेकंड को स्थिर संकेतक मानकर हर जगह उद्धृत करना
- अलग-अलग परिभाषा वाले आंकड़ों की आपस में तुलना करना (inspector स्क्रीनशॉट के साथ vs स्क्रिप्ट बिना स्क्रीनशॉट; jev-1.13 vs jev-1.14)
🎒 शुरू करने से पहले की तैयारी
- पूरा किया Google Flights चलाना: कम से कम एक बार
examples/flights.pyचलाया है,"passed": trueका सत्यापन JSON औरartifacts/flights/latest/देखा है - याद है Jev Ultrafast सिद्धांत का「एक राउंडट्रिप में दो निर्णय」——इस पाठ के 17 अनुरोधों में से हर एक यही संरचना है
- (वैकल्पिक) jev-ultrafast रिपॉज़िटरी खुली रखें,
docs/performance.mdऔर दोनों माप JSON के साथ पढ़ें, इस पाठ का हर आंकड़ा उसमें मिलेगा - एक गिलास पानी——यह पाठ मुख्य रूप से पढ़ने के लिए है, हाथ से करना「उन्नत तकनीकें」में है
मुख्य विचार
आधिकारिक रूप से परफ़ॉर्मेंस आंकड़ों के प्रति रुख को तीन वाक्यों में समेटा जा सकता है:
- हर आंकड़े के साथ परिभाषा है——7.073 सेकंड किस मिलीसेकंड से शुरू, किस मिलीसेकंड पर रुकते हैं, क्या घड़ी के भीतर है और क्या बाहर, दस्तावेज़ में बिल्कुल स्पष्ट है
- तुलना में चर नियंत्रित करना——पुराने और नए संस्करण बारी-बारी से प्रत्येक 3 बार चलते हैं, समान कार्य, समान मॉडल, समान बजट, समान स्वतंत्र सत्यापन
- सीमाओं की सक्रिय घोषणा——नमूना आकार, live नेटवर्क, एकल कार्य, आधिकारिक रूप से स्वयं पहले बताता है, किसी के उखाड़ने का इंतज़ार नहीं
इस पाठ में तोड़े जाने वाले चार आधिकारिक आंकड़े:
| आंकड़ा | आधिकारिक परिभाषा | स्रोत |
|---|---|---|
| 7.073 s | पहली भविष्यवाणी → DONE स्वीकारा गया; इसमें शामिल हैं मॉडल कॉल, टेक्स्ट जनरेशन, ब्राउज़र ऑपरेशन, stale निर्णय, लोडिंग | docs/performance.md, flights-measurement.json |
| 9.450 → 7.092 s | 6 बारी-बारी से चलाए गए रन का माध्यिका (मीडियन), दोनों पक्षों के 3/3 स्वतंत्र सत्यापन से पारित | docs/full-speed-measurement.json |
| 1,092 → 101 | उसी तुलनात्मक प्रयोग के ब्राउज़र प्रोटोकॉल कॉल की माध्यिका | docs/full-speed-measurement.json |
| $0.00006272 | केवल दो बार टेक्स्ट helper की OpenRouter बिलिंग, इसमें TypeSafe शामिल नहीं | docs/performance.md |
एक और बात पहले याद रखें: ये सभी आंकड़े एक ही संयोजन से निकले हैं — निर्णय मॉडल jev-1.13.0 + टेक्स्ट मॉडल inception/mercury-2.5 (OpenRouter के ज़रिए, रीज़निंग बंद)। मेज़रमेंट JSON में TYPESAFE_MODEL null है, यानी कोड का डिफ़ॉल्ट jev-latest (jev_ultrafast/model.py की पंक्ति 108) उपयोग हुआ, जो उस समय 1.13.0 पर पार्स होता था; आज jev-latest jev-1.14.0 की ओर इशारा करता है। आज आप इसे दोहराएँ तो मॉडल अलग होगा, और सेकंड स्वाभाविक रूप से भिन्न होंगे।
💡 यह पाठ ध्यान से पढ़ने क्यों लायक है
7.073 इस संख्या को याद रखने से ज़्यादा उपयोगी है «परिभाषा + बिल + नमूना आकार घोषणा» का यह ढाँचा। किसी भी agent का प्रदर्शन आप खुद मापें — चाहे Ultrafast हो या कुछ और — आप इसे जस का तस अपना सकते हैं।
मेरे साथ करें
चरण 1: समय मापने की परिभाषा को संरेखित करें — आधिकारिक सेकंड किस मिलीसेकंड से शुरू होते हैं
क्यों: किन्हीं भी दो सेकंड की तुलना से पहले परिभाषा को संरेखित करें, वरना सब अमान्य तुलनाएँ हैं। आप खुद 9 सेकंड निकालें या 12 सेकंड, पहला कदम यही है कि पता लगाया जाए कि आधिकारिक घड़ी कैसे चलती है।
आधिकारिक परिभाषा, एक ही तालिका में स्पष्ट:
| मद | सामग्री |
|---|---|
| घड़ी शुरू | प्रारंभिक होमपेज अवलोकन के बादपहली भविष्यवाणी |
| घड़ी रुकी | जिस क्षण DONE स्वीकारा गया |
| घड़ी के भीतर | मॉडल कॉल, टेक्स्ट जनरेशन, ब्राउज़र ऑपरेशन, stale निर्णय (रद्द होकर दोबारा की गई भविष्यवाणियाँ), लोडिंग प्रतीक्षा |
| घड़ी के बाहर | ब्राउज़र स्टार्टअप, प्रारंभिक नेविगेशन, रन पूरा होने के बाद स्वतंत्र verify() सत्यापन |
यह परिभाषा कोड से मेल खाती है (jev_ultrafast/agent.py):
started_atकेवल पहलीpredictपर सेट होता है — इसलिए प्रारंभिक पेज अवलोकन घड़ी के बाहर है- DONE को
actमें स्वीकार करते समय अपडेट होता हैelapsed_ms— यही घड़ी रुकने का बिंदु है - भविष्यवाणी पुरानी हो जाने पर (
StalePage) निर्णय छोड़ दिया जाता है, दोबारा अवलोकन, दोबारा भविष्यवाणी — रद्द हुआ समय घड़ी के भीतर ही गिना जाता है
वीडियो भी उसी परिभाषा से है: 1× वास्तविक गति पर चलाया गया, कोई शुरुआती ठहराव नहीं, अंत में केवल 0.5 सेकंड का ठहराव; 186 लगातार फ़्रेम की स्क्रीन-रिकॉर्डिंग और 1 प्रारंभिक स्क्रीनशॉट (JSON में source_frames: 187), ऊपर की 64 px की अकाउंट/नेविगेशन पट्टी ही काटी गई — आगे-पीछे से कुछ छाँटा नहीं गया।
आपको दिखना चाहिए: docs/performance.md का समय-माप खंड ऊपर की तालिका से एक-एक मद से मेल खाता है — "begins at the first prediction after initial homepage observation and ends at the accepted DONE choice", घड़ी के भीतर-बाहर की हर बात शब्दशः मेल खाती है।
- घड़ी के भीतर की पाँच मदें और बाहर की तीन मदें बता सकें
चरण 2: 7.073 सेकंड का बिल खोलें — 17 अनुरोधों का समय कहाँ खर्च हुआ
क्यों: आधिकारिक तौर पर इस रिकॉर्डिंग का हर आंकड़ा docs/flights-measurement.json में लिखा गया है, बिल जस का तस उठाया जा सकता है। कुल लेखा:
| सूचकांक | मान |
|---|---|
| कुल समय | 7,073 ms |
| निर्णय अनुरोध | 17 बार |
| निर्णय विलंब | माध्यिका 178 ms, कुल 3,720 ms |
| निष्पादित क्रियाएँ | 11 (10 इंटरैक्शन + 1 स्पष्ट WAIT) |
| टेक्स्ट जनरेशन | 2 बार (Zurich 581 ms, London 346 ms) |
| token | 90,558 इनपुट + 6,325 आउटपुट |
| निर्णय मॉडल | jev-1.13.0 |
समय कहाँ गया (पहली दो पंक्तियाँ आधिकारिक JSON के मूल फ़ील्ड हैं, तीसरी पंक्ति इस पृष्ठ की गणना है: 7073 − 3720 − 927):
| गंतव्य | समय | हिस्सा |
|---|---|---|
| 17 निर्णय अनुरोध | 3,720 ms | ≈ 53% |
| 2 टेक्स्ट जनरेशन | 927 ms | ≈ 13% |
| ब्राउज़र निष्पादन, अवलोकन, पेज लोडिंग | ≈ 2,426 ms | ≈ 34% |
17 अनुरोध 17 क्रियाओं के बराबर नहीं: 11 क्रियाएँ और 1 स्वीकृत DONE, कुल मिलाकर 12 भविष्यवाणियाँ «काम के लिए» खर्च हुईं; बाकी 5 बार निष्पादन से पहले ताज़गी जाँच ने रोक दिया — पेज की फ़िंगरप्रिंट बदल गई, पुराने स्नैपशॉट पर आधारित निर्णय रद्द होकर दोबारा हुआ, यही परिभाषा के stale decisions हैं, और उनका समय भी कुल सेकंड में गिना गया। (5 = 17 − 11 − 1, यह इस पृष्ठ की गणना agent.py के «हर भविष्यवाणी ठीक एक बार उपभोग होती है, रद्द होने पर दोबारा मापी जाती है» वाले लूप तर्क पर आधारित है; आधिकारिक तौर पर stale की संख्या अलग से प्रकाशित नहीं की गई।)
11 क्रियाओं की समयरेखा पर स्थिति (executed_ms, रिकॉर्डिंग JSON के actions सरणी से):
| समय | क्रिया |
|---|---|
| 0.336 s | CLICK Change ticket type. Round trip |
| 0.640 s | CLICK One way |
| 1.595 s | TYPE_TEXT Where from? → Zurich (टेक्स्ट जनरेशन 581 ms) |
| 1.930 s | CLICK Zürich, Switzerland (ऑटोकंप्लीट सुझाव चुना गया) |
| 2.748 s | TYPE_TEXT Where to? → London (टेक्स्ट जनरेशन 346 ms) |
| 3.053 s | CLICK London, United Kingdom |
| 3.452 s | CLICK Open Departure |
| 3.769 s | CLICK Sunday, September 20, 2026 |
| 4.097 s | CLICK Done. Search for one-way flights… |
| 5.217 s | CLICK Search (आधिकारिक मूल शब्द: खोज 5.217 सेकंड पर निष्पादित हुई) |
| 5.587 s | WAIT पेज अपडेट होने की प्रतीक्षा |
| 7.073 s | DONE स्वीकृत, स्टॉपवॉच रोका गया |
पहले 5.2 सेकंड फ़ॉर्म भरने और सबमिट करने में, बाद के 1.9 सेकंड परिणाम की प्रतीक्षा और पूर्णता की पुष्टि में गए। WAIT निष्पादन 5.587 सेकंड पर, DONE स्वीकृति 7.073 सेकंड पर — आख़िरी लगभग 1.49 सेकंड के लिए आधिकारिक व्याख्या है: परिणाम पेज का लोड होना, स्थिति में बदलाव और पूर्णता का निर्णय। दोनों टेक्स्ट जनरेशन में से हर एक ने अलग-अलग लगभग 0.3–0.6 सेकंड का "टाइपिंग ठहराव" पैदा किया, इसीलिए वीडियो में इनपुट बॉक्स "एक पल सोचकर टाइप करता दिखता है"।
आपको यह दिखना चाहिए: flights-measurement.json शीर्ष-स्तर के elapsed_ms, decision_requests, decision_median_ms, decision_total_ms चार फ़ील्ड, और actions सरणी में 11 प्रविष्टियों का executed_ms — ऊपर की समयरेखा इसी सरणी से ली गई है।
- 17 अनुरोधों में से कितने क्रिया बने, कितने stale थे, कितने DONE थे — यह बता सकना
चरण 3: Jev Ultrafast प्रदर्शन तुलना प्रयोग समझना: 9.450 → 7.092 सेकंड
क्यों: एक बार का 7.073 सेकंड केवल रिकॉर्डिंग है; "25% तेज़" यह निष्कर्ष दूसरे एक नियंत्रित प्रयोग से आया है। इसकी डिज़ाइन तय करती है कि निष्कर्ष कितना बड़ा दावा कर सकता है।
प्रयोग की डिज़ाइन (performance.md का "Matched runtime comparison" अनुभाग):
- 6 बार रन, बारी-बारी से: एक बार बेसलाइन, एक बार अनुकूलित संस्करण, कुल 3 जोड़े; एक ही कार्य, एक ही पहले से तैयार Chrome प्रोफ़ाइल
- दोनों arm बिल्कुल समान वाली चीज़ें उपयोग करते हैं: प्राकृतिक भाषा लक्ष्य, स्वतंत्र परिणाम सत्यापनकर्ता, 1120×780 व्यूपोर्ट, jev-1.13.0, mercury-2.5 (रीज़निंग बंद), क्रिया और अनुरोध बजट
- प्रारंभिक नेविगेशन दोनों ओर समय में नहीं गिना गया; हर रन अपना tab खुद खोलता और खुद बंद करता है; 6 रन सभी गिने गए, कोई हटाया नहीं गया, कोई विक्रेता या सत्यापन विफलता नहीं
- बेसलाइन arm commit
68c077bf…पर फ़्रोज़न है; दोनों ओर Mercury का उपयोग हुआ, ताकि "टेक्स्ट मॉडल बदलना" और "कोड बदलना" दो चर एक साथ न मिल जाएं
परिणाम:
| जोड़ा | बेसलाइन | अनुकूलित | सत्यापन |
|---|---|---|---|
| 1 | 11.214 s | 6.964 s | दोनों पास |
| 2 | 8.984 s | 7.913 s | दोनों पास |
| 3 | 9.450 s | 7.092 s | दोनों पास |
| माध्यिका | 9.450 s | 7.092 s | प्रत्येक 3/3 |
तीन माध्यिकाओं में बदलाव: कार्य समय −25.0%, TypeSafe अनुरोध 22 → 17, ब्राउज़र प्रोटोकॉल कॉल 1,092 → 101। अनुकूलित संस्करण तीनों जोड़ों में तेज़ रहा।
लेकिन आधिकारिक स्रोत ने तुरंत अपनी तरफ़ से तीन डिस्क्लेमर दिए:
- 3 जोड़े बहुत कम हैं, दो-पक्षीय साइन परीक्षण p = 0.25, मज़बूत सांख्यिकीय निष्कर्ष का समर्थन नहीं करता
- यह नियंत्रित छोटे नमूने की तुलना है, कोई व्यापक agent benchmark नहीं
- Google, नेटवर्क प्रतिक्रिया, राउटिंग, ब्राउज़र कैश — सभी जीवित हैं, नियंत्रित नहीं किए गए
⚠️ इन आँकड़ों को उद्धृत करने का सही तरीका
"एक ही कार्य, एक ही मॉडल, एक ही ब्राउज़र के 3 जोड़ों की बारी-बारी वाली रन में, अनुकूलित संस्करण हर बार तेज़ रहा, माध्यिका रूप से 25% तेज़" — यह आधार वाला कथन है। "Jev Ultrafast किसी अन्य agent से 25% तेज़ है" — इसका कोई आधार नहीं, आधिकारिक स्रोत ने कभी cross-agent तुलना नहीं की।
आपको यह देखना चाहिए: performance.md की तुलना तालिका ऊपर 3 जोड़ी अंकों में एक बोल्ड माध्य (median) पंक्ति जोड़ने जैसी ही है; "p = 0.25" और "not a broad agent benchmark" दोनों मूल पाठ में हैं।
- प्रयोग ने कौन-से चर नियंत्रित किए और कौन-से नहीं, यह बता सकना
चरण 4: समय कहाँ गया पता करें——1,092 → 101 प्रोटोकॉल कॉलों ने क्या काटा
क्यों: "25% तेज़" होने का कारण पूरी तरह ब्राउज़र प्रोटोकॉल कॉलों में है। आधिकारिक रूप से measurement JSON में हर रन की पूरी CDP (Chrome DevTools Protocol) कॉल का विवरण संग्रहीत है, जो पूरे कोर्स का सबसे मज़बूत सबूत है।
पुराने लूप के तीन बोझ (performance.md "Where the time went"):
- हर DOM बदलाव——एनिमेशन सहित——निर्णय को अमान्य करता है, बार-बार दोबारा अनुमान लगाता है
- बार-बार पूरा एक्सेसिबिलिटी ट्री पढ़ना (
Accessibility.getFullAXTree) - सैकड़ों DOM नोड्स पार्स करना (
DOM.resolveNode)
नए लूप का तरीका (performance.md "Where the time went" + README):
- एक ब्राउज़र कॉल में सामान्य HTML/ARIA नियंत्रण पढ़ लेता है——अब बार-बार ट्री नहीं पढ़ता, नोड-दर-नोड पार्स नहीं करता
- क्लिक गार्ड केवल लक्ष्य, निकटवर्ती संदर्भ और दस्तावेज़/फ़ॉर्म स्थिति की तुलना करता है; ज्यामिति और हिट टेस्टिंग अभी भी इनपुट से पहले होती है
- combobox इवेंट प्रतीक्षा: ऑटो-कंप्लीट सुझाव पहले आते हैं (README: ऊपरी सीमा 200 ms; अन्य इंटरैक्शन अधिकतम दो एनिमेशन फ़्रेम या 50 ms) फिर Jev से पूछते हैं
- नेटिव टेक्स्ट रिप्लेसमेंट ब्राउज़र का select-all कमांड स्पष्ट रूप से भेजता है
CDP कॉल विवरण (तीन रन एक-एक कर सूचीबद्ध, full-speed-measurement.json के हर run के cdp ऑब्जेक्ट से):
| प्रोटोकॉल मेथड | बेसलाइन (3 रन) | अनुकूलित संस्करण (3 रन) |
|---|---|---|
| DOM.resolveNode | 828 / 828 / 828 | 0 (कुंजी अब दिखाई नहीं देती) |
| Accessibility.getFullAXTree | 30 / 30 / 30 | 0 |
| Runtime.callFunctionOn | 40 / 40 / 40 | 0 |
| DOM.getBoxModel + DOM.getNodeForLocation | 10 + 10 / 10 + 10 / 10 + 10 | 0 |
| Runtime.evaluate | 158 / 146 / 148 | 75 / 77 / 71 |
| Input.dispatchMouseEvent / KeyEvent / insertText | 20 / 4 / 2 (हर बार समान) | 20 / 4 / 2 (अपरिवर्तित) |
| कुल | 1102 / 1090 / 1092 (माध्य 1,092) | 101 / 103 / 97 (माध्य 101) |
तालिका पढ़ने पर दो अंतर्दृष्टियाँ:
- "पेज देखने" का तरीका बदला, "पेज पर क्लिक करना" नहीं——माउस, कीबोर्ड, टेक्स्ट इन्सर्ट तीन प्रकार की इनपुट कॉलें दोनों ओर बिल्कुल समान हैं, जो काटी गईं वे सब ऑब्ज़र्वेशन कॉलें हैं
- अनुरोध भी कम हुए (माध्य 22 → 17): निर्णय अब एनिमेशन से बार-बार अमान्य नहीं होते, दोबारा अनुमान स्वाभाविक रूप से कम होते हैं
💡 यही "एक स्नैपशॉट, एक ब्राउज़र कॉल" का परिमाणित सबूत है
सिद्धांत पाठ में README का डिज़ाइन सिद्धांत "One browser call per snapshot" समझाया गया था। अंकों में उतरते हुए: Runtime.evaluate लगभग 150 से लगभग 75 हो गया, DOM.resolveNode 828 से शून्य। आर्किटेक्चर का दावा और माप डेटा मेल खाते हैं।
आपको यह देखना चाहिए: full-speed-measurement.json में बेसलाइन के तीन run के cdp विवरण में DOM.resolveNode सभी 828 बार हैं; अनुकूलित संस्करण के तीन run के cdp विवरण में यह मेथड बिल्कुल नहीं है।
- काटी गई तीन प्रकार की ऑब्ज़र्वेशन कॉलें क्या हैं और इनपुट कॉलें क्यों अपरिवर्तित हैं, यह बता सकना
चरण 5: लागत का हिसाब लगाएँ——token, टेक्स्ट helper और वह कीमत जो आधिकारिक रूप से नहीं बताई गई
क्यों: प्रदर्शन की व्याख्या में केवल सेकंड नहीं देखने चाहिए, यह भी देखना चाहिए कि इस यात्रा पर कितना पैसा खर्च हुआ। आधिकारिक रूप से आधा बताया गया, बाकी आधा स्वयं निकाला जा सकता है।
आधिकारिक रूप से बताया गया:
- रिकॉर्डिंग के सभी अनुरोधों का कुल 90,558 इनपुट token + 6,325 आउटपुट token
- OpenRouter ने दो टेक्स्ट कॉलों के लिए बिलिंग की $0.00006272 (Zurich $0.0000293 + London $0.0000334)
- आधिकारिक स्पष्ट घोषणा: यह केवल टेक्स्ट helper का खर्च है, कार्य की कुल लागत नहीं——TypeSafe रिस्पॉन्स में केवल token संख्या है, डॉलर का बिल नहीं, ब्राउज़र की लागत भी शामिल नहीं है
आधिकारिक रूप से नहीं बताया गया, स्वयं निकाला जा सकता है (इस पृष्ठ का अनुमान, आधिकारिक आँकड़े नहीं):
TypeSafe की आधिकारिक कीमत ($42 / B इनपुट token, आउटपुट मुफ़्त) के हिसाब से, 90,558 इनपुट token ≈ $0.0038। गणना की प्रक्रिया: 90558 × 42 ÷ 10⁹ ≈ 0.0038 डॉलर। टेक्स्ट helper के $0.00006272 को जोड़ने पर, इस 7 सेकंड के कार्य में मॉडल की कुल लागत लगभग 0.4 सेंट आती है।
उतार-चढ़ाव का एक उदाहरण (दोनों full-speed-measurement.json में हैं): वही London जनरेट करना, रिकॉर्ड किए गए रन में 346 ms, 94 completion token ($0.0000334); तुलना प्रयोग के जोड़ी 2 के ऑप्टिमाइज़्ड संस्करण वाले रन में 1,137 ms, 511 token ($0.0000961) — एक बार की टेक्स्ट कॉल की latency में 3 गुना से अधिक का अंतर आ सकता है, और ऐसे उतार-चढ़ाव सब कुल सेकंड में जाते हैं।
आपको यह दिखना चाहिए: performance.md में "$0.00006272" वाले हिस्से में लिखा है 「text-helper charge, not total task cost」; दोनों कॉल की यूनिट कीमत flights-measurement.json के text_calls में है (2.93e-05 + 3.342e-05)।
- यह समझा सकें कि $0.00006272 में क्या शामिल है, क्या शामिल नहीं है
चेकपॉइंट ✅
- टाइमिंग की परिभाषा पूरी तरह बता सकें: शुरुआत बिंदु, रुकने का बिंदु, घड़ी के भीतर शामिल पाँच चीज़ें, घड़ी के बाहर तीन चीज़ें
- रिकॉर्डेड बिल के चार मुख्य आँकड़े बता सकें: 17 अनुरोध, माध्यिका 178 ms, 11 क्रियाएँ, खोज 5.217 सेकंड पर निष्पादित
- 9.450 → 7.092 सेकंड के प्रयोग की रूपरेखा समझा सकें, और आधिकारिक स्रोत के अपने तीन डिस्क्लेमर बता सकें
- प्रोटोकॉल कॉल 1,092 → 101 में शून्य कर दी गई तीन प्रकार की कॉल बता सकें
- यह समझा सकें कि $0.00006272 केवल टेक्स्ट helper का खर्च है, TypeSafe का बिल कीमत सूची के अनुसार अलग से निकालना होगा
सावधानी की याद दिलाना
❌ अपने सेकंड से सीधे आधिकारिक आँकड़ों पर सवाल उठाना
लक्षण: आपको 9 सेकंड, 12 सेकंड मिलते हैं, और आपको लगता है कि 7.073 सेकंड में कुछ बढ़ा-चढ़ाया गया है।
कारण: कम से कम चार परिभाषा-अंतर — ① मॉडल अलग है: माप में jev-1.13.0 इस्तेमाल हुआ, आज jev-latest jev-1.14.0 की ओर इशारा करता है; ② नेटवर्क जीवित है: आधिकारिक ऑप्टिमाइज़्ड संस्करण के अपने ही तीन रन 6.964–7.913 सेकंड में फैले हैं; ③ inspector स्क्रीनशॉट के साथ चलता है, जो कभी टाइमिंग रन का तरीका नहीं था (पिछला पाठ में बताया गया); ④ आपका रन ज़्यादा stale निर्णयों से टकरा सकता है।
सही तरीका: examples/flights.py (स्क्रीनशॉट के बिना) से चलाएँ, artifacts/flights/latest/state.json के टॉप-लेवल elapsed_ms पढ़ें — यही आधिकारिक माप के समान परिभाषा वाला आँकड़ा है; तुलना से पहले मॉडल, URL और लक्ष्य को संरेखित करें।
❌ 「25% तेज़」 को सभी agent पर लागू निष्कर्ष कहना
लक्षण: 「Jev Ultrafast किसी ब्राउज़र agent से 25% तेज़ है।」
कारण: आधिकारिक तुलना अपने ही नए और पुराने दो संस्करणों के बीच है — बेसलाइन commit 68c077bf… पर फ्रोज़न पुराना कार्यान्वयन है, कोई और agent नहीं; और 3 नमूनों पर p = 0.25 है, आधिकारिक स्रोत खुद कहता है कि यह नियंत्रित छोटा नमूना है।
सही तरीका: उद्धृत करते समय सीमाकारी शब्द जोड़ें: 「एक ही कार्य, एक ही मॉडल की 3 जोड़ियों का वैकल्पिक रन, नया संस्करण पुराने से माध्यिका में 25% तेज़」।
❌ यह सोचना कि आधिकारिक स्रोत ने एक ही बार में 7 सेकंड तक पहुँच लिया
लक्षण: 7.073 सेकंड देखकर लगता है कि परफ़ॉर्मेंस स्वाभाविक रूप से ऐसे ही निकली।
कारण: performance.md में पूरी विकास-यात्रा दर्ज है: पुराने संस्करण ने एक बार 9.302 s पास किया; दो एक्सेसिबिलिटी-ट्री योजनाएँ 9.395 s, 10.157 s; पहली सीधी DOM योजना 8.697 s, लेकिनस्वतंत्र सत्यापन विफल (नाम/मान निष्कर्षण अधूरा); सुधार के बाद 8.051, 8.631, 8.395, 8.385, 7.741 s तक लगातार चढ़ाई, Mercury निदान 7.559 s। इससे पहले 11.387 s की रिकॉर्डिंग और 12.898 s की रणनीति रिग्रेशन भी थी।
सही तरीका: 「8.697 s लेकिन verify विफल」 को एक चेतावनी मानें — सेकंड कितने भी अच्छे लगें, स्वतंत्र सत्यापन पास न हो तो पास नहीं माना जाएगा। आधिकारिक स्रोत ने विफल प्रयासों को दस्तावेज़ में लिखने की हिम्मत की, यही दिखाता है कि पुनरुत्पादन योग्यता अच्छे दिखने से ज़्यादा मायने रखती है।
❌ 7 सेकंड को सभी वेबसाइटों पर लागू करना
लक्षण: 「Flights 7 सेकंड, तो मेरा वह जटिल बैकएंड भी 7 सेकंड होना चाहिए।」
कारण: आधिकारिक स्रोत ने केवल तीन कार्यों के सेकंड प्रकाशित किए: Flights 7.073 s, Wikipedia पर Gödel की अपूर्णता प्रमेय खोलना 2.798 s, स्थानीय होटल कार्य 1.896 s — आधिकारिक स्रोत ने खुद स्पष्ट कहा कि बाद वाले दो 「स्मोक चेक हैं, मिलान तुलना नहीं」। DOM reader केवल सामान्य HTML/ARIA नियंत्रण समर्थित करता है; shadow DOM, canvas, अपलोड आदि समर्थित नहीं।
सही तरीका: अपनी साइट, अपने लक्ष्य के साथ खुद मापें; पहले Ultrafast ट्रबलशूटिंग की असमर्थित-सूची से मिलान करें और जो पेज लागू नहीं होते उन्हें हटा दें।
उन्नत तकनीकें (वैकल्पिक)
अपनी परिभाषा मापें। पिछले पाठ का uv run --env-file .env python examples/flights.py --keep-open चलने के बाद, artifacts/flights/latest/state.json खोलें: टॉप-लेवल elapsed_ms ही इस रन का आधिकारिक-परिभाषा सेकंड है; history में हर क्रिया के साथ executed_ms, latency_ms, text_latency_ms है, decisions हर पूर्वानुमान है, text_calls टेक्स्ट helper है। आधिकारिक माप JSON इन्हीं फ़ील्ड से बनी रिपोर्ट है। तीन रन चलाकर माध्यिका लें, एक रन से ज़्यादा ठोस लगती है।
इस पाठ के आँकड़े फ़ील्ड-दर-फ़ील्ड जाँचें। docs/flights-measurement.json (रिकॉर्डेड) और docs/full-speed-measurement.json (तुलना प्रयोग) में सारा कच्चा डेटा है: सोर्स हैश, token संख्या, हर टेक्स्ट कॉल का खर्च; तुलना प्रयोग के 6 रन में हर एक के साथ ब्राउज़र संस्करण (Chrome/152.0.7977.83) और पूरा CDP विवरण भी है। इस लेख का कोई भी आँकड़ा जाँचना हो तो इन्हीं दो फ़ाइलों में जाएँ।
माप के बाद कोड में बदलाव पर ध्यान दें। performance.md दर्ज करता है: टाइमिंग और रिकॉर्डिंग पूरी होने के बाद, नेटिव SELECT का इंटरप्शन हैंडलिंग कसा गया (परिणाम अनिश्चित होने पर रुकना, अब पुनः प्रयास-योग्य stale रीड नहीं मानना); Flights नेटिव SELECT ट्रिगर नहीं करता, इसलिए टाइमिंग और रिकॉर्डिंग हैश अपरिवर्तित रहे। आपके clone किया कोड माप के समय से थोड़ा नया है, यह सामान्य है।
टेक्स्ट helper चुनते समय देखें कि आधिकारिक टीम ने कैसे चुना। आधिकारिक टीम ने दो असली फ़्लाइट फ़ील्ड को प्रोब के रूप में लेकर Gemini 2.5 Flash Lite, Gemini 3.1 Flash Lite और Mercury 2.5 आज़माया, तीनों ने सही मान लौटाए; इससे पहले के प्रोब ने एक ऐसे मॉडल को खारिज किया था जो प्रस्थान/गंतव्य को उलटा लिखता था, और एक ऐसे मॉडल को भी खारिज किया जो वैध JSON नहीं, बल्कि टिप्पणी आउटपुट करता था। सीख: TEXT_MODEL बदलते समय केवल विलंबता न देखें, असली फ़ील्ड से सही-गलत का प्रोब करके तब आगे बढ़ें।
इस पाठ का सारांश
✅ Jev Ultrafast के प्रदर्शन आँकड़े तीन समूहों में हैं: रिकॉर्डिंग 7.073 सेकंड (परिभाषा: पहली भविष्यवाणी → स्वीकृत DONE), तुलनात्मक प्रयोग 9.450 → 7.092 सेकंड (6 बार वैकल्पिक चाल, माध्यिका लिया गया, दोनों पक्ष 3/3), प्रोटोकॉल कॉल 1,092 → 101 (वही प्रयोग)।
✅ रिकॉर्डिंग का बिल: 17 निर्णय अनुरोध (माध्यिका 178 ms, कुल 3,720 ms, कुल समय का लगभग 53%), 2 बार टेक्स्ट जनरेशन (927 ms), 11 क्रियाएँ, 90,558 + 6,325 token; खोज 5.217वें सेकंड पर निष्पादित हुई।
✅ 17 अनुरोध = 11 क्रियाएँ + 1 स्वीकृत DONE + 5 बार stale (भविष्यवाणी निष्पादन से पहले पृष्ठ बदलने के कारण निरस्त, समय फिर भी गिना गया)।
✅ तेज़ होने का कारण "पृष्ठ देखने" के तरीके में बदलाव है: DOM.resolveNode 828 → 0, पूर्ण पहुँच-योग्यता ट्री 30 → 0, Runtime.evaluate लगभग 150 → लगभग 75; इनपुट प्रकार की कॉल दोनों ओर अपरिवर्तित।
✅ उद्धृत करते समय सीमाएँ भी बताएँ: एकल कार्य, 3 वैकल्पिक जोड़ियाँ, live नेटवर्क, p = 0.25 — आधिकारिक टीम ने खुद सीमाएँ आँकड़ों के बगल में लिखी हैं, आप भी ऐसे ही उद्धृत करें।
मुख्य आँकड़ों की समीक्षा:
| मीट्रिक | आधिकारिक आँकड़ा | परिभाषा |
|---|---|---|
| रिकॉर्डिंग लिया गया समय | 7.073 s | पहली भविष्यवाणी → स्वीकृत DONE |
| निर्णय अनुरोध / माध्यिका विलंबता | 17 बार / 178 ms | रिकॉर्डिंग |
| खोज निष्पादन क्षण | 5.217 s | रिकॉर्डिंग, 11 क्रियाओं में से एक |
| तुलना में माध्यिका समय | 9.450 → 7.092 s (−25.0%) | 3 वैकल्पिक चालें चलाई गईं |
| प्रोटोकॉल कॉल माध्यिका | 1,092 → 101 | वही तुलनात्मक प्रयोग |
| टेक्स्ट helper लागत | $0.00006272 | केवल 2 टेक्स्ट कॉल (OpenRouter) |
| TypeSafe token | 90,558 इनपुट / 6,325 आउटपुट | रिकॉर्डिंग के सभी अनुरोध |
अगले पाठ की झलक
आँकड़े देख लिए, अगले पाठ अपना ब्राउज़र कार्य लिखें: Agent लाइब्रेरी व्यवहारिक उपयोग में Ultrafast को अपना औज़ार बनाएँगे। आप सीखेंगे:
Agent(url, goals)का पूरा उपयोग: goals स्ट्रिंग या सूची हो सकती है,run()से क्रमशः state मिलता है- state के हर फ़ील्ड का उपयोग कैसे करें: history, decisions, text_calls, status, elapsed_ms — यही इस पाठ के बिल का डेटा स्रोत है
- एक नया URL और एक लक्ष्य की पंक्ति बदलना ही नया कार्य है, और कब अपना स्वतंत्र सत्यापन कॉन्फ़िगर करना चाहिए
- टेक्स्ट मॉडल कैसे बदलें: DeepSeek, GLM आदि OpenAI-संगत एंडपॉइंट का कॉन्फ़िगरेशन तरीका
परिशिष्ट: स्रोत कोड संदर्भ
पर क्लिक करके स्रोत कोड स्थान देखें
अपडेट समय: 2026-11-04 (रिपॉज़िटरी github.com/browser-use/jev-ultrafast, स्थानीय सूचना स्रोत sources/jev/repo-ultrafast/)
| कार्य | फ़ाइल पथ | मुख्य स्थान |
|---|---|---|
| प्रदर्शन रिपोर्ट मुख्य पाठ | docs/performance.md | समय-माप परिभाषा (Timing begins…); रिकॉर्डिंग का बिल (17 अनुरोध / 178 ms / 5.217 s / 7.073 s / 90,558+6,325 token / $0.00006272); तुलनात्मक प्रयोग तालिका और p=0.25; Where the time went; Other checks (2.798 s / 1.896 s); Development attempts; Limits |
| रिकॉर्डिंग माप डेटा | docs/flights-measurement.json | elapsed_ms 7073; decision_requests 17; decision_median_ms 178; decision_total_ms 3720; actions सरणी में 11 प्रविष्टियों की executed_ms समयरेखा; text_calls (581/346 ms और $2.93e-05/$3.342e-05); tokens 90558/6325; video (187 फ़्रेम / 1× / 0 शुरुआती ठहराव / 500 ms अंतिम ठहराव / 64 px ट्रिम); timing फ़ील्ड ही परिभाषा का मूल पाठ |
| तुलनात्मक प्रयोग डेटा | docs/full-speed-measurement.json | summary (9450/7092, 1092/101); runs 6 प्रविष्टियाँ (हर जोड़ी का elapsed_ms, decision_requests, cdp विवरण, स्रोत कोड हैश, tokens, text_calls); scope (3 जोड़ियाँ, 1120×780, live अनियंत्रित); baseline_commit 68c077bf… |
| README सारांश | README.md | "Evidence and limits": 7,073 ms मापदंड, 3/3 पास, 25%, प्रोटोकॉल कॉल 1,092 → 101, 2.798 s / 1.896 s, DONE को स्वतंत्र सत्यापन चाहिए |
| समय-गणना प्रारंभ बिंदु और stale हैंडलिंग | jev_ultrafast/agent.py | L68–69 started_at पहले predict पर सेट किया जाता है; L93–99 DONE स्वीकारने पर elapsed_ms अपडेट होता है; L55–64 StalePage → निर्णय त्यागें, फिर से अवलोकन करें; L75–76 मॉडल कॉल बजट MAX_STEPS×2; L102–104 एक्शन बजट |
| डिफ़ॉल्ट मॉडल | jev_ultrafast/model.py | L108 os.environ.get("TYPESAFE_MODEL", "jev-latest") |
| trace सहेजे गए फ़ील्ड | examples/flights.py | L50–52 elapsed_ms/status प्रिंट करता है; L54–56 state.json = agent.snapshot() + verification (elapsed_ms, history, decisions, text_calls सहित) |
| डिज़ाइन सिद्धांत का मूल पाठ | README.md | L98 "One browser call per snapshot"; L100 combobox के लिए प्रतीक्षा ऊपरी सीमा 200 ms, अन्य इंटरैक्शन के लिए दो एनिमेशन फ़्रेम या 50 ms |
| Jev मूल्य सूची (लागत अनुमान का आधार) | TypeSafe आधिकारिक दस्तावेज़ docs/models.md (स्थानीय sources/jev/docs/models.md) | $42 / B इनपुट token, आउटपुट मुफ़्त; उपनाम jev-latest वर्तमान में jev-1.14.0 की ओर इशारा करता है |