Skip to content

कितना बड़ा मॉडल चुनें ​

जो सबसे बड़ा मॉडल आपके VRAM में पूरा फिट हो जाए, वही आपको चुनना चाहिए। VRAM में फिट होने पर सबसे तेज़ चलता है; फिट न होने पर भी चलेगा, लेकिन एक हिस्सा मेमोरी में खिसककर CPU से कंप्यूट होगा, जो काफ़ी धीमा है।

पहले अपने VRAM के साथ ट्राई करें:

चुनिएआपका ग्राफ़िक्स कार्ड, कितना बड़ा DeepSeek चला सकता है?अनुमानित जानकारी, सटीक के लिए ollama ps देखें
VRAM
मॉडल
VRAM 8 GBअधिकतम पूरा समा सकता है:8b
deepseek-r1:8b ≈ 5.7 GB
$ ollama psNAME SIZE PROCESSORdeepseek-r1:8b 5.7 GB 100% GPU

deepseek-r1:8b पूरा इसमें डाल सकते हैं 8 GB VRAM, सबसे तेज़ चलता है।

सीखने के बाद आप क्या कर सकेंगे ​

  • DeepSeek-R1 के हर साइज़ की फ़ाइल साइज़ बता सकें
  • अपने VRAM के हिसाब से एक साइज़ चुन सकें
  • ollama ps से पुष्टि कर सकें कि चुनाव सही है या नहीं

हर साइज़ कितना बड़ा है ​

Ollama मॉडल लाइब्रेरी में deepseek-r1 के साइज़ (ollama run deepseek-r1:<尺寸>):

साइज़फ़ाइल साइज़कॉन्टेक्स्ट लंबाई
1.5b1.1 GB128K
7b4.7 GB128K
8b5.2 GB128K
14b9.0 GB128K
32b20 GB128K
70b43 GB128K
671b404 GB160K

बिना साइज़ लिखे सीधे ollama run deepseek-r1 चलाने पर आपको latest मिलता है, जिसकी फ़ाइल का साइज़ 8b जितना ही है, यानी 5.2 GB।

"b" का मतलब है एक अरब पैरामीटर। साइज़ जितना बड़ा, आम तौर पर जवाब उतने ही बेहतर, और वीआरएएम की खपत भी उतनी ही ज़्यादा।

  • मुझे पता है कि जिस साइज़ का फ़ाइल मैं आज़माना चाहता/चाहती हूँ वह कितना बड़ा है

कैसे पता करें कि फ़िट होगा या नहीं ​

लोड होने के बाद, मॉडल फ़ाइल से थोड़ी ज़्यादा वीआरएएम घेरता है। हमने 8b पर वास्तविक परीक्षण किया: फ़ाइल 5.2 GB, और ollama ps में 5.6 GB दिखता है। इसलिए मोटे तौर पर कहें तो, वीआरएएम फ़ाइल से काफ़ी ज़्यादा होनी चाहिए। ऊपर दिया छोटा टूल इसी अनुमान से गणना करता है।

असली जवाब ollama ps के PROCESSOR कॉलम में देखें:

दिखाता हैमतलब
100% GPUपूरा ग्राफ़िक्स कार्ड पर, सबसे तेज़
48%/52% CPU/GPU ऐसाकुछ हिस्सा मेमोरी में, कुछ ग्राफ़िक्स कार्ड पर, धीमा होगा
100% CPUपूरा मेमोरी में, CPU से गणना, सबसे धीमा

अगर 100% GPU नहीं है तो एक साइज़ छोटा आज़माएँ।

खोजेंमेरा ग्राफ़िक्स कार्ड है……

एक पर क्लिक करके देखें।

  • मैंने साइज़ चुन लिया है और ollama ps से देख लिया है

चेकपॉइंट ​

  • मुझे हर साइज़ की फ़ाइल का साइज़ पता है
  • मुझे पता है कि वीआरएएम फ़ाइल से काफ़ी ज़्यादा होनी चाहिए
  • मैं PROCESSOR कॉलम देखकर पता कर सकता/सकती हूँ कि पूरा ग्राफ़िक्स कार्ड पर है या नहीं

आम गलतफ़हमियाँ ​

यह सोचना कि साइज़ जितना बड़ा उतना बेहतर। जो बड़ा मॉडल वीआरएएम में फ़िट नहीं होता वह बहुत धीमा हो जाता है। पहले सबसे बड़ा साइज़ चुनें जो फ़िट हो।

यह सोच सकते हैं कि इस पेज का R1 ही DeepSeek का सबसे नया मॉडल है। सबसे नया V4 / V4.1 सीरीज़ है, लेकिन वह होम कंप्यूटर पर फिट नहीं होता और Ollama पर भी केवल क्लाउड संस्करण ही उपलब्ध है, देखें DeepSeek V4 क्या लोकल चल सकता है। लोकल चलने लायक अब भी ऊपर बताए गए R1 साइज़ ही हैं।

यह सोचना कि latest सबसे बड़ा वर्ज़न है। इस मॉडल में, latest की फ़ाइल का साइज़ 8b जितना ही है, यानी 5.2 GB।

अगला सेक्शन ​

इंटरफ़ेस से लोकल मॉडल को कॉल करना।

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.