अपना खुद का नॉलेज बेस बनाएं
आप AI से पूछते हैं “क्या बिज़नेस ट्रिप में टैक्सी का खर्चा रिइम्बर्स होगा”, तो वह आपकी कंपनी के नियम नहीं जानता, बस अंदाज़ा लगाता है। आप पूरी नीति फ़ाइल उसे पेस्ट कर देते हैं, पर फ़ाइलें ज़्यादा हों तो सब समा नहीं पाती, और हो सकता है आप पेस्ट करना भी न चाहें।
लोकल नॉलेज बेस का तरीका यह है: पहले आपकी फ़ाइलों में से सवाल से सबसे संबंधित कुछ वाक्य खोजे जाते हैं, केवल वही वाक्य मॉडल को दिए जाते हैं, और उसे उन्हीं के अनुसार जवाब देने को कहा जाता है। इस तरीके को RAG (Retrieval-Augmented Generation) कहते हैं। पूरी प्रक्रिया आपके कंप्यूटर पर ही होती है।
पहले देखें कि यह जवाब कैसे खोजता है। नीचे दिया गया सामग्री, समानता स्कोर और जवाब, सब इस सेक्शन के स्क्रिप्ट से इसी मशीन पर वास्तव में चलाकर निकाले गए हैं:
报销制度.txt
छुट्टी नियम.txt
门禁与访客.txt
1. सवाल पहले अंकों की एक श्रृंखला (वेक्टर) में बदलता है।
सीखने के बाद आप क्या कर सकेंगे
- नॉलेज बेस के चार चरण समझा सकें: टुकड़ों में काटना, वेक्टर में बदलना, सबसे संबंधित खोजना, मॉडल को देना
- अपने कंप्यूटर पर एक नॉलेज बेस सफलतापूर्वक चला सकें
- अपनी फ़ाइलों से बदलकर सवाल पूछ सकें
चार चरण
| चरण | क्या किया जाता है | क्या उपयोग होता है |
|---|---|---|
| 1. टुकड़ों में काटना | फ़ाइल को छोटे-छोटे हिस्सों में काटना | स्क्रिप्ट खुद काटता है, यहाँ एक लाइन एक टुकड़ा |
| 2. वेक्टर में बदलना | हर टुकड़ा संख्याओं की एक श्रृंखला में बदलता है, अर्थ जितना नज़दीक, संख्याएँ उतनी नज़दीक | Ollama का एम्बेडिंग मॉडल embeddinggemma |
| 3. सबसे संबंधित खोजना | सवाल भी वेक्टर में बदलता है, हर टुकड़े से तुलना होती है, सबसे मिलते-जुलते तीन टुकड़े चुने जाते हैं | कोसाइन समानता |
| 4. मॉडल को देना | इन तीन टुकड़ों को प्रॉम्प्ट में डालकर, केवल उन्हीं के आधार पर जवाब देने को कहा जाता है | deepseek-r1:8b |
Ollama की आधिकारिक डॉक्यूमेंटेशन में वेक्टर के बारे में कहा गया है: वेक्टर को वेक्टर डेटाबेस में संग्रहीत किया जा सकता है, कोसाइन समानता से रिट्रीव किया जा सकता है, और RAG में उपयोग किया जा सकता है; इसका /api/embed इंटरफ़ेस यूनिट लंबाई वाले वेक्टर लौटाता है, इसलिए दो वेक्टरों को सीधे गुणा करके जोड़ देने पर ही कोसाइन समानता मिल जाती है।
- 1?
- 2?
- 3?
- 4?
क्रम के अनुसार, एक-एक करके क्लिक करें।
शुरू करने से पहले
- Ollama चल रहा है, डाउनलोड कर लिया गया है
deepseek-r1:8b - Python 3 इंस्टॉल है (स्क्रिप्ट केवल Python की अपनी लाइब्रेरियों का उपयोग करता है)
चरण 1: एम्बेडिंग मॉडल डाउनलोड करें
ollama pull embeddinggemmaआपको यह दिखना चाहिए: आख़िरी लाइन success है। हमारे यहाँ इसका आकार 621 MB है।
ollama listमेंembeddinggemmaहै
चरण 2: सामग्री और स्क्रिप्ट तैयार करना
एक नया फ़ोल्डर बनाएँ और उसमें ये रखें:
kb.py: नॉलेज बेस स्क्रिप्ट, डाउनलोड करेंdocs/फ़ोल्डर: आपकी सामग्री,.txtफ़ाइलें। पहले हमारी तीन नमूना फ़ाइलों से आज़माएँ: 报销制度.txt, छुट्टी नियम.txt, 门禁与访客.txt (काल्पनिक कंपनी की नीतियाँ, केवल अभ्यास के लिए)
स्क्रिप्ट का मूल वही ऊपर वाले चार चरण हैं:
# 2. 变成向量:一次把所有块交给嵌入模型
vectors = post("/api/embed", {"model": EMBED_MODEL, "input": [c["text"] for c in chunks]})["embeddings"]
# 3. 找最相关的块:问题也变成向量,和每一块比相似度
q = post("/api/embed", {"model": EMBED_MODEL, "input": question})["embeddings"][0]
scored = sorted(((sum(a * b for a, b in zip(q, v)), c) for v, c in zip(vectors, chunks)),
key=lambda x: x[0], reverse=True)[:3]
# 4. 交给模型回答:把找到的内容放进提示词,要求只根据它们回答
prompt = f"只根据下面的资料回答问题。资料里没有的,就说“资料里没有写”。\n\n资料:\n{context}\n\n问题:{question}"- फ़ोल्डर में
kb.pyऔर तीन फ़ाइलों वालाdocs/है
चरण 3: उससे पूछें
python3 kb.py "出差打车能报销吗?"आपको यह दिखना चाहिए: पहले मिली हुई तीन वाक्य और उनकी समानता सूचीबद्ध होती हैं, फिर उत्तर दिया जाता है। हमारा वास्तविक परीक्षण:
[0.71] 报销制度.txt: यात्रा प्रतिपूर्ति: बिज़नेस ट्रिप के दौरान का टैक्सी किराया प्रतिपूर्ति के योग्य है, इलेक्ट्रॉनिक इनवॉइस देना होगा और यात्रा समाप्त होने के 30 दिनों के भीतर जमा करना होगा।
[0.53] 报销制度.txt: भोजन का खर्च प्रति दिन 100 युआन के मानक से प्रतिपूर्ति होता है, अधिक का खर्च स्वयं वहन करना होगा।
[0.43] 报销制度.txt: आवास का खर्च शहर के अनुसार श्रेणीबद्ध है: टियर-1 शहरों में प्रति रात अधिकतम 500 युआन, अन्य शहरों में प्रति रात अधिकतम 350 युआन।
उत्तर: प्रतिपूर्ति की जा सकती है।
सामग्री के अनुसार, बिज़नेस ट्रिप के दौरान का टैक्सी किराया प्रतिपूर्ति के योग्य है, इलेक्ट्रॉनिक इनवॉइस देना होगा और यात्रा समाप्त होने के 30 दिनों के भीतर जमा करना होगा।स्कोर और उत्तर की शब्दावली हर बार थोड़ी अलग हो सकती है।
$python3 kb.py "ID कार्ड खो गया तो क्या करें?"
[0.72] गेट और विज़िटर.txt: कर्मचारी अपने ID कार्ड स्वाइप करके ऑफ़िस क्षेत्र में घुसते हैं, कार्ड खोने पर उसी दिन एडमिन विभाग को बताकर दोबारा बनवाएँ, शुल्क 20 युआन।
- मैंने एक सवाल पूछा और मिली हुई वाक्य तथा उत्तर देखा
चरण 4: सामग्री में मौजूद न होने वाली एक चीज़ पूछें
python3 kb.py "公司几点上班?"हमारे वास्तविक परीक्षण में मिला उत्तर:
सामग्री में नहीं लिखा है कि कंपनी में काम कितने बजे शुरू होता है।तीनों फ़ाइलों में वास्तव में काम का समय नहीं है। इसे मिली तीनों वाक्यों का स्कोर कम था, और मॉडल ने प्रॉम्प्ट की आवश्यकता के अनुसार "लिखा नहीं है" कहा, कोई समय गढ़ा नहीं। यही वह जगह है जहाँ नॉलेज बेस सीधे मॉडल से पूछने की तुलना में भरोसेमंद है: उत्तर का स्रोत होता है, और जब स्रोत नहीं होता तो यह बता देता है।
- मैंने देखा कि इसने सामग्री में मौजूद न होने वाले सवाल पर "लिखा नहीं है" कहा
अपनी सामग्री से बदलें
docs/ की फ़ाइलें अपनी .txt फ़ाइलों से बदल दें, बस इतना ही। तीन सुझाव:
- एक वाक्य, एक पंक्ति। यह स्क्रिप्ट पंक्तियों के अनुसार टुकड़े बनाती है, एक पंक्ति अच्छा होगा अगर वह एक पूरी जानकारी हो।
- सामग्री बदलने पर दोबारा चलाएँ। स्क्रिप्ट हर बार चलने पर सभी वाक्यों के वेक्टर दोबारा गणना करती है, सामग्री बढ़ने पर धीमी हो जाएगी। वास्तव में उपयोग करने के लिए, वेक्टर संग्रहीत किए जा सकते हैं, यही काम वेक्टर डेटाबेस करता है।
- सही न मिलने पर पहले स्कोर देखें। अगर सबसे संबंधित वाक्य आगे नहीं आया, तो ज़्यादातर वजह यह है कि वह पंक्ति बहुत बिखरी हुई लिखी गई है, उसे छोटे टुकड़ों में तोड़ें।
चेकपॉइंट
- मैं नॉलेज बेस के चार चरण बता सकता/सकती हूँ
- मैंने अपने कंप्यूटर पर
kb.pyसफलतापूर्वक चलाया - मैंने देखा कि इसने सामग्री में न होने वाले सवालों के बारे में ईमानदारी से कहा "लिखा नहीं है"
आम गलतफहमियाँ
यह सोचना कि नॉलेज बेस की फ़ाइलों को मॉडल में "ट्रेन" कर दिया गया है। नहीं। मॉडल में बिल्कुल कोई बदलाव नहीं हुआ, हर बार बस मिली हुई कुछ पंक्तियाँ अस्थायी रूप से प्रॉम्प्ट में डाली जाती हैं। सामग्री बदली, तो अगली बार पूछने पर नई सामग्री इस्तेमाल होगी।
यह सोचना कि जो खोजा गया है वह ज़रूर सही है। खोजी जाती हैं "अर्थ में सबसे मिलती" पंक्तियाँ, यह गारंटी नहीं कि वही उत्तर है। इसलिए स्क्रिप्ट मिली हुई पंक्तियाँ और स्कोर दोनों प्रिंट करती है, ताकि आप जाँच सकें कि इसका आधार क्या है।
कोर्स समाप्त
अब आपके पास अपने कंप्यूटर पर चलने वाला एक DeepSeek है, और सिर्फ़ आपकी अपनी फ़ाइलों का उपयोग करने वाला एक नॉलेज बेस है।कोर्स होम पेज पर लौटें और देखें कि और कौन सा सेक्शन दोहराना चाहेंगे।