Skip to content

इंटरफ़ेस से लोकल मॉडल कॉल करना ​

टर्मिनल में चैट करना सिर्फ शुरुआत है। अपने लिखे प्रोग्राम, या पहले से OpenAI सपोर्ट करने वाले सॉफ़्टवेयर को लोकल DeepSeek से चलाने के लिए, इंटरफ़ेस का उपयोग करना होगा।

Ollama अपनी मशीन पर http://localhost:11434 पर इंटरफ़ेस खोले रखता है। इसका अपना नेटिव इंटरफ़ेस है, और OpenAI जैसे फ़ॉर्मैट का संगत इंटरफ़ेस भी है।

सीखने के बाद आप क्या कर सकते हैं ​

  • curl से नेटिव इंटरफ़ेस कॉल करना
  • OpenAI की Python लाइब्रेरी से लोकल मॉडल कॉल करना
  • यह पहचानना कि जवाब और सोच की प्रक्रिया किस फ़ील्ड में है

शुरू करने से पहले ​

चरण 1: curl से नेटिव इंटरफ़ेस कॉल करना ​

sh
curl http://localhost:11434/api/chat -d '{
  "model": "deepseek-r1:8b",
  "stream": false,
  "messages": [{"role": "user", "content": "用一句话介绍你自己。"}]
}'

आपको यह दिखना चाहिए: एक JSON। हमारे वास्तविक टेस्ट में मिले message में दो फ़ील्ड थे:

  • content: जवाब, जैसे "नमस्ते! मैं DeepSeek-R1 हूँ, मदद करने वाला एक AI असिस्टेंट..."
  • thinking: इसकी सोच की प्रक्रिया

"stream": false इसे एक बार में पूरा नतीजा दिलाता है; न लिखें तो यह टुकड़ों में स्ट्रीमिंग करके लौटाता है।

  • मुझे content शामिल करता JSON मिला

चरण 2: OpenAI की Python लाइब्रेरी से कॉल करना ​

बहुत से प्रोग्राम मूल रूप से OpenAI के लिए लिखे गए हैं। Ollama का संगत इंटरफ़ेस पता http://localhost:11434/v1/ है, प्रोग्राम में पता इससे बदल दें तो लोकल मॉडल उपयोग हो सकता है।

पहले लाइब्रेरी इंस्टॉल करें:

sh
pip install openai

फिर यह फ़ाइल लिखें (आप सीधे डाउनलोड भी कर सकते हैं):

python
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1/",
    api_key="ollama",  # 必须填,但 Ollama 不检查
)

reply = client.chat.completions.create(
    model="deepseek-r1:8b",
    messages=[{"role": "user", "content": "用一句话说明本地部署的好处。"}],
)
print(reply.choices[0].message.content)

आधिकारिक दस्तावेज़ के अनुसार: इस लाइब्रेरी में एक API Key भरना ज़रूरी है, लेकिन Ollama इसे नज़रअंदाज़ करता है, कुछ भी भर दें।

आपको यह दिखना चाहिए: एक जवाब। हमारे वास्तविक टेस्ट (openai 3.51.0) में मिला:

text
लोकल डिप्लॉयमेंट से एंटरप्राइज़ डेटा सुरक्षा और प्राइवेसी सुरक्षा पर स्वयं नियंत्रण रख सकते हैं, और वास्तविक ज़रूरतों के अनुसार सिस्टम प्रदर्शन ऑप्टिमाइज़ कर सकते हैं, IT इंफ़्रास्ट्रक्चर पर पूरा नियंत्रण पाते हैं।
  • मेरे Python प्रोग्राम ने जवाब छापा

चरण 3: दूसरे सॉफ़्टवेयर को लोकल मॉडल से चलाना ​

"कस्टम OpenAI इंटरफ़ेस" सपोर्ट करने वाले सॉफ़्टवेयर में इन तीन चीज़ों से भर दें:

क्या भरेंयह भरें
इंटरफ़ेस पता (Base URL)http://localhost:11434/v1/
API Keyकुछ भी भर दें, जैसे ollama
मॉडल का नामdeepseek-r1:8b (ollama list में दिए गए नाम को मानक मानें)

आपकी परीक्षाएक सॉफ़्टवेयर OpenAI की API Key भरने को कहता है, लेकिन आप उसे स्थानीय Ollama से चलाना चाहते हैं। Key कैसे भरें?

चेकपॉइंट ​

  • मैंने curl के साथ नेटिव इंटरफ़ेस सफलतापूर्वक चलाया
  • मैंने OpenAI की Python लाइब्रेरी के साथ कॉम्पैटिबल इंटरफ़ेस सफलतापूर्वक चलाया
  • मुझे पता है कि उत्तर content में होता है, और थिंकिंग प्रक्रिया एक अलग फ़ील्ड में होती है

सफल नहीं हुए? ​

कनेक्शन अस्वीकृत कर दिया गया। Ollama चल नहीं रहा है। Ollama ऐप खोलें, या Linux पर ollama serve चलाएँ।

मॉडल नहीं मिला। मॉडल का नाम ollama list में दिए गए नाम से बिल्कुल वैसा ही होना चाहिए, कोलन के बाद के साइज़ समेत।

अगला सेक्शन ​

अक्सर पूछे जाने वाले सवाल।

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.