इंटरफ़ेस से लोकल मॉडल कॉल करना
टर्मिनल में चैट करना सिर्फ शुरुआत है। अपने लिखे प्रोग्राम, या पहले से OpenAI सपोर्ट करने वाले सॉफ़्टवेयर को लोकल DeepSeek से चलाने के लिए, इंटरफ़ेस का उपयोग करना होगा।
Ollama अपनी मशीन पर http://localhost:11434 पर इंटरफ़ेस खोले रखता है। इसका अपना नेटिव इंटरफ़ेस है, और OpenAI जैसे फ़ॉर्मैट का संगत इंटरफ़ेस भी है।
सीखने के बाद आप क्या कर सकते हैं
- curl से नेटिव इंटरफ़ेस कॉल करना
- OpenAI की Python लाइब्रेरी से लोकल मॉडल कॉल करना
- यह पहचानना कि जवाब और सोच की प्रक्रिया किस फ़ील्ड में है
शुरू करने से पहले
- Ollama चल रहा है, यह पहले से डाउनलोड हो चुका है
deepseek-r1:8b
चरण 1: curl से नेटिव इंटरफ़ेस कॉल करना
curl http://localhost:11434/api/chat -d '{
"model": "deepseek-r1:8b",
"stream": false,
"messages": [{"role": "user", "content": "用一句话介绍你自己。"}]
}'आपको यह दिखना चाहिए: एक JSON। हमारे वास्तविक टेस्ट में मिले message में दो फ़ील्ड थे:
content: जवाब, जैसे "नमस्ते! मैं DeepSeek-R1 हूँ, मदद करने वाला एक AI असिस्टेंट..."thinking: इसकी सोच की प्रक्रिया
"stream": false इसे एक बार में पूरा नतीजा दिलाता है; न लिखें तो यह टुकड़ों में स्ट्रीमिंग करके लौटाता है।
- मुझे
contentशामिल करता JSON मिला
चरण 2: OpenAI की Python लाइब्रेरी से कॉल करना
बहुत से प्रोग्राम मूल रूप से OpenAI के लिए लिखे गए हैं। Ollama का संगत इंटरफ़ेस पता http://localhost:11434/v1/ है, प्रोग्राम में पता इससे बदल दें तो लोकल मॉडल उपयोग हो सकता है।
पहले लाइब्रेरी इंस्टॉल करें:
pip install openaiफिर यह फ़ाइल लिखें (आप सीधे डाउनलोड भी कर सकते हैं):
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:11434/v1/",
api_key="ollama", # 必须填,但 Ollama 不检查
)
reply = client.chat.completions.create(
model="deepseek-r1:8b",
messages=[{"role": "user", "content": "用一句话说明本地部署的好处。"}],
)
print(reply.choices[0].message.content)आधिकारिक दस्तावेज़ के अनुसार: इस लाइब्रेरी में एक API Key भरना ज़रूरी है, लेकिन Ollama इसे नज़रअंदाज़ करता है, कुछ भी भर दें।
आपको यह दिखना चाहिए: एक जवाब। हमारे वास्तविक टेस्ट (openai 3.51.0) में मिला:
लोकल डिप्लॉयमेंट से एंटरप्राइज़ डेटा सुरक्षा और प्राइवेसी सुरक्षा पर स्वयं नियंत्रण रख सकते हैं, और वास्तविक ज़रूरतों के अनुसार सिस्टम प्रदर्शन ऑप्टिमाइज़ कर सकते हैं, IT इंफ़्रास्ट्रक्चर पर पूरा नियंत्रण पाते हैं।- मेरे Python प्रोग्राम ने जवाब छापा
चरण 3: दूसरे सॉफ़्टवेयर को लोकल मॉडल से चलाना
"कस्टम OpenAI इंटरफ़ेस" सपोर्ट करने वाले सॉफ़्टवेयर में इन तीन चीज़ों से भर दें:
| क्या भरें | यह भरें |
|---|---|
| इंटरफ़ेस पता (Base URL) | http://localhost:11434/v1/ |
| API Key | कुछ भी भर दें, जैसे ollama |
| मॉडल का नाम | deepseek-r1:8b (ollama list में दिए गए नाम को मानक मानें) |
आपकी परीक्षाएक सॉफ़्टवेयर OpenAI की API Key भरने को कहता है, लेकिन आप उसे स्थानीय Ollama से चलाना चाहते हैं। Key कैसे भरें?
चेकपॉइंट
- मैंने curl के साथ नेटिव इंटरफ़ेस सफलतापूर्वक चलाया
- मैंने OpenAI की Python लाइब्रेरी के साथ कॉम्पैटिबल इंटरफ़ेस सफलतापूर्वक चलाया
- मुझे पता है कि उत्तर
contentमें होता है, और थिंकिंग प्रक्रिया एक अलग फ़ील्ड में होती है
सफल नहीं हुए?
कनेक्शन अस्वीकृत कर दिया गया। Ollama चल नहीं रहा है। Ollama ऐप खोलें, या Linux पर ollama serve चलाएँ।
मॉडल नहीं मिला। मॉडल का नाम ollama list में दिए गए नाम से बिल्कुल वैसा ही होना चाहिए, कोलन के बाद के साइज़ समेत।