लोकल डिप्लॉयमेंट में लार्ज मॉडल क्या है
लोकल डिप्लॉयमेंट का मतलब है, लार्ज मॉडल को आपके अपने कंप्यूटर पर डाउनलोड करके चलाना। आप जो कुछ उससे कहते हैं, जो फ़ाइलें उसे देते हैं, वे सब आपके कंप्यूटर पर ही प्रोसेस होती हैं, किसी और के सर्वर पर नहीं भेजी जातीं।
इस सेक्शन में कुछ भी इंस्टॉल नहीं किया जाता।
सीखने के बाद आप क्या कर सकेंगे
- लोकल डिप्लॉयमेंट और वेब संस्करण के अंतर को स्पष्ट रूप से बता सकें
- जान सकें कि Ollama किस काम आता है
- आँक सकें कि आपका कंप्यूटर काफ़ी है या नहीं
वेब संस्करण से क्या अंतर है
| वेब-आधारित AI | लोकल डिप्लॉयमेंट | |
|---|---|---|
| मॉडल कहाँ चलता है | सेवा प्रदाता का सर्वर | आपका कंप्यूटर |
| आपके प्रॉम्प्ट और फ़ाइलें | सेवा प्रदाता को भेजी जाती हैं | आपके कंप्यूटर पर ही रहती हैं |
| गति किस पर निर्भर करती है | नेटवर्क और सेवा प्रदाता | आपका ग्राफ़िक्स कार्ड |
| कितना बड़ा मॉडल चला सकते हैं | सेवा प्रदाता का सबसे अच्छा | जो आपकी VRAM में समा जाए |
लोकल डिप्लॉयमेंट से मिलता है कि डेटा आपके पास रहता है, और इसकी कीमत है कि मॉडल का आकार ग्राफ़िक्स कार्ड से सीमित रहता है।
Ollama क्या है
Ollama एक ऐसा टूल है जिससे आप अपने कंप्यूटर पर लार्ज मॉडल डाउनलोड और चला सकते हैं। इंस्टॉल होने के बाद, एक ही कमांड से एक मॉडल डाउनलोड होकर बातचीत शुरू हो जाती है, और यह आपके कंप्यूटर पर एक इंटरफ़ेस भी खोलता है (http://localhost:11434), ताकि दूसरे प्रोग्राम भी इसे कॉल कर सकें।
प्राइवेसी के बारे में, Ollama के आधिकारिक FAQ के मूल शब्द हैं: Ollama लोकल चलता है, और लोकल चलने पर वे आपके प्रॉम्प्ट और डेटा नहीं देख सकते। ध्यान रखें, Ollama क्लाउड मॉडल भी देता है, और क्लाउड मॉडल इस्तेमाल करने पर प्रॉम्प्ट उनकी सेवा से गुज़रते हैं। अगर सिर्फ़ लोकल मॉडल इस्तेमाल करना है, तो सेटिंग्स में क्लाउड फ़ीचर बंद किया जा सकता है, देखें आम सवाल।
आपकी परीक्षाआप Ollama से अपनी मशीन पर deepseek-r1:8b चला रहे हैं और एक अंदरूनी नीति का सवाल पूछा। क्या यह नीति Ollama के सर्वर पर भेजी जाएगी?
- मैं लोकल डिप्लॉयमेंट और वेब संस्करण का सबसे बड़ा अंतर बता सकता/सकती हूँ
क्या मेरा कंप्यूटर काफ़ी है
आधिकारिक रूप से दी गई सिस्टम आवश्यकताएँ:
| सिस्टम | आवश्यकताएँ |
|---|---|
| Windows | Windows 10 22H2 या उससे नया, Home या Pro संस्करण; NVIDIA ग्राफ़िक्स ड्राइवर 551.61 या उससे नया |
| macOS | Sonoma (14) या उससे नया; Apple M सीरीज़ चिप पर CPU और GPU दोनों इस्तेमाल हो सकते हैं, Intel चिप पर सिर्फ़ CPU |
| ग्राफ़िक्स कार्ड | NVIDIA ग्राफ़िक्स कार्ड के लिए कम्प्यूट कैपेबिलिटी 5.0 या उससे ऊपर और ड्राइवर 550 या नए चाहिए; कुछ AMD Radeon ग्राफ़िक्स कार्ड भी समर्थित हैं |
आप कितना बड़ा मॉडल चला सकते हैं, यह वास्तव में VRAM से तय होता है। जब मॉडल पूरा VRAM में समा जाता है तो सबसे तेज़ चलता है; अगर समा न जाए, तो Ollama एक हिस्से को मेमोरी में रखकर CPU से गणना करता है, तब भी चल जाता है, बस बहुत धीमा हो जाता है। कोर्स के होम पेज का छोटा टूल आपकी VRAM के हिसाब से अनुमान लगा सकता है, कितना बड़ा मॉडल चुनें सेक्शन में विस्तार से बताया गया है।
- मुझे पता है कि मेरे ग्राफ़िक्स कार्ड में कितनी VRAM है
चेकपॉइंट
- मैं एक वाक्य में लोकल डिप्लॉयमेंट समझा सकता/सकती हूँ: मॉडल मेरे अपने कंप्यूटर पर चलता है, डेटा मेरी मशीन पर ही रहता है
- मुझे पता है कि Ollama मॉडल डाउनलोड और चलाने के लिए उपयोग होता है, और यह एक लोकल इंटरफ़ेस भी खोलता है
- मुझे पता है कि VRAM ही तय करती है कि कितना बड़ा मॉडल चल सकता है
आम गलतफ़हमियाँ
सोचना कि लोकल डिप्लॉयमेंट से फुल DeepSeek चलाया जा सकता है। Ollama पर deepseek-r1 के 1.5b से 671b तक कई साइज़ हैं, 671b वाली फ़ाइल 404 GB की है, जो सामान्य कंप्यूटर में समा नहीं पाती। घरेलू ग्राफ़िक्स कार्ड छोटे साइज़ वाले वर्शन चलाते हैं।
DeepSeek के नएतम मॉडल अब V4 / V4.1 सीरीज़ हैं, और deepseek-r1 Ollama पर एक साल पुराना मॉडल है। लेकिन V4 सीरीज़ Ollama पर केवल क्लाउड संस्करण (नाम में :cloud) में उपलब्ध है, इसे इस्तेमाल करने पर प्रॉम्प्ट क्लाउड पर भेजे जाते हैं; LM Studio के अनुसार V4-Flash को लोकल चलाने के लिए कम से कम 156 GB मेमोरी चाहिए। इसलिए होम कंप्यूटर पर लोकल चलाने योग्य मॉडल अभी भी deepseek-r1 का छोटा साइज़ ही है, विवरण के लिए देखेंDeepSeek V4 लोकल चल सकता है या नहीं।
सोचना कि Ollama इस्तेमाल करने पर ज़रूर इंटरनेट से नहीं जुड़ा जाता। मॉडल डाउनलोड करने के लिए इंटरनेट चाहिए; Ollama के क्लाउड मॉडल भी हैं। केवल लोकल मॉडल इस्तेमाल करके और क्लाउड फ़ीचर बंद करके ही डेटा पूरी तरह आपकी मशीन पर रहता है।