Skip to content

लोकल डिप्लॉयमेंट में लार्ज मॉडल क्या है ​

लोकल डिप्लॉयमेंट का मतलब है, लार्ज मॉडल को आपके अपने कंप्यूटर पर डाउनलोड करके चलाना। आप जो कुछ उससे कहते हैं, जो फ़ाइलें उसे देते हैं, वे सब आपके कंप्यूटर पर ही प्रोसेस होती हैं, किसी और के सर्वर पर नहीं भेजी जातीं।

इस सेक्शन में कुछ भी इंस्टॉल नहीं किया जाता।

सीखने के बाद आप क्या कर सकेंगे ​

  • लोकल डिप्लॉयमेंट और वेब संस्करण के अंतर को स्पष्ट रूप से बता सकें
  • जान सकें कि Ollama किस काम आता है
  • आँक सकें कि आपका कंप्यूटर काफ़ी है या नहीं

वेब संस्करण से क्या अंतर है ​

वेब-आधारित AIलोकल डिप्लॉयमेंट
मॉडल कहाँ चलता हैसेवा प्रदाता का सर्वरआपका कंप्यूटर
आपके प्रॉम्प्ट और फ़ाइलेंसेवा प्रदाता को भेजी जाती हैंआपके कंप्यूटर पर ही रहती हैं
गति किस पर निर्भर करती हैनेटवर्क और सेवा प्रदाताआपका ग्राफ़िक्स कार्ड
कितना बड़ा मॉडल चला सकते हैंसेवा प्रदाता का सबसे अच्छाजो आपकी VRAM में समा जाए

लोकल डिप्लॉयमेंट से मिलता है कि डेटा आपके पास रहता है, और इसकी कीमत है कि मॉडल का आकार ग्राफ़िक्स कार्ड से सीमित रहता है।

Ollama क्या है ​

Ollama एक ऐसा टूल है जिससे आप अपने कंप्यूटर पर लार्ज मॉडल डाउनलोड और चला सकते हैं। इंस्टॉल होने के बाद, एक ही कमांड से एक मॉडल डाउनलोड होकर बातचीत शुरू हो जाती है, और यह आपके कंप्यूटर पर एक इंटरफ़ेस भी खोलता है (http://localhost:11434), ताकि दूसरे प्रोग्राम भी इसे कॉल कर सकें।

प्राइवेसी के बारे में, Ollama के आधिकारिक FAQ के मूल शब्द हैं: Ollama लोकल चलता है, और लोकल चलने पर वे आपके प्रॉम्प्ट और डेटा नहीं देख सकते। ध्यान रखें, Ollama क्लाउड मॉडल भी देता है, और क्लाउड मॉडल इस्तेमाल करने पर प्रॉम्प्ट उनकी सेवा से गुज़रते हैं। अगर सिर्फ़ लोकल मॉडल इस्तेमाल करना है, तो सेटिंग्स में क्लाउड फ़ीचर बंद किया जा सकता है, देखें आम सवाल।

आपकी परीक्षाआप Ollama से अपनी मशीन पर deepseek-r1:8b चला रहे हैं और एक अंदरूनी नीति का सवाल पूछा। क्या यह नीति Ollama के सर्वर पर भेजी जाएगी?

  • मैं लोकल डिप्लॉयमेंट और वेब संस्करण का सबसे बड़ा अंतर बता सकता/सकती हूँ

क्या मेरा कंप्यूटर काफ़ी है ​

आधिकारिक रूप से दी गई सिस्टम आवश्यकताएँ:

सिस्टमआवश्यकताएँ
WindowsWindows 10 22H2 या उससे नया, Home या Pro संस्करण; NVIDIA ग्राफ़िक्स ड्राइवर 551.61 या उससे नया
macOSSonoma (14) या उससे नया; Apple M सीरीज़ चिप पर CPU और GPU दोनों इस्तेमाल हो सकते हैं, Intel चिप पर सिर्फ़ CPU
ग्राफ़िक्स कार्डNVIDIA ग्राफ़िक्स कार्ड के लिए कम्प्यूट कैपेबिलिटी 5.0 या उससे ऊपर और ड्राइवर 550 या नए चाहिए; कुछ AMD Radeon ग्राफ़िक्स कार्ड भी समर्थित हैं

आप कितना बड़ा मॉडल चला सकते हैं, यह वास्तव में VRAM से तय होता है। जब मॉडल पूरा VRAM में समा जाता है तो सबसे तेज़ चलता है; अगर समा न जाए, तो Ollama एक हिस्से को मेमोरी में रखकर CPU से गणना करता है, तब भी चल जाता है, बस बहुत धीमा हो जाता है। कोर्स के होम पेज का छोटा टूल आपकी VRAM के हिसाब से अनुमान लगा सकता है, कितना बड़ा मॉडल चुनें सेक्शन में विस्तार से बताया गया है।

  • मुझे पता है कि मेरे ग्राफ़िक्स कार्ड में कितनी VRAM है

चेकपॉइंट ​

  • मैं एक वाक्य में लोकल डिप्लॉयमेंट समझा सकता/सकती हूँ: मॉडल मेरे अपने कंप्यूटर पर चलता है, डेटा मेरी मशीन पर ही रहता है
  • मुझे पता है कि Ollama मॉडल डाउनलोड और चलाने के लिए उपयोग होता है, और यह एक लोकल इंटरफ़ेस भी खोलता है
  • मुझे पता है कि VRAM ही तय करती है कि कितना बड़ा मॉडल चल सकता है

आम गलतफ़हमियाँ ​

सोचना कि लोकल डिप्लॉयमेंट से फुल DeepSeek चलाया जा सकता है। Ollama पर deepseek-r1 के 1.5b से 671b तक कई साइज़ हैं, 671b वाली फ़ाइल 404 GB की है, जो सामान्य कंप्यूटर में समा नहीं पाती। घरेलू ग्राफ़िक्स कार्ड छोटे साइज़ वाले वर्शन चलाते हैं।

DeepSeek के नएतम मॉडल अब V4 / V4.1 सीरीज़ हैं, और deepseek-r1 Ollama पर एक साल पुराना मॉडल है। लेकिन V4 सीरीज़ Ollama पर केवल क्लाउड संस्करण (नाम में :cloud) में उपलब्ध है, इसे इस्तेमाल करने पर प्रॉम्प्ट क्लाउड पर भेजे जाते हैं; LM Studio के अनुसार V4-Flash को लोकल चलाने के लिए कम से कम 156 GB मेमोरी चाहिए। इसलिए होम कंप्यूटर पर लोकल चलाने योग्य मॉडल अभी भी deepseek-r1 का छोटा साइज़ ही है, विवरण के लिए देखेंDeepSeek V4 लोकल चल सकता है या नहीं।

सोचना कि Ollama इस्तेमाल करने पर ज़रूर इंटरनेट से नहीं जुड़ा जाता। मॉडल डाउनलोड करने के लिए इंटरनेट चाहिए; Ollama के क्लाउड मॉडल भी हैं। केवल लोकल मॉडल इस्तेमाल करके और क्लाउड फ़ीचर बंद करके ही डेटा पूरी तरह आपकी मशीन पर रहता है।

अगला सेक्शन ​

Ollama इंस्टॉल करें।

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.