कितना बड़ा मॉडल चुनें
जो सबसे बड़ा मॉडल आपके VRAM में पूरा फिट हो जाए, वही आपको चुनना चाहिए। VRAM में फिट होने पर सबसे तेज़ चलता है; फिट न होने पर भी चलेगा, लेकिन एक हिस्सा मेमोरी में खिसककर CPU से कंप्यूट होगा, जो काफ़ी धीमा है।
पहले अपने VRAM के साथ ट्राई करें:
$ ollama psNAME SIZE PROCESSORdeepseek-r1:8b 5.7 GB 100% GPUdeepseek-r1:8b पूरा इसमें डाल सकते हैं 8 GB VRAM, सबसे तेज़ चलता है।
सीखने के बाद आप क्या कर सकेंगे
- DeepSeek-R1 के हर साइज़ की फ़ाइल साइज़ बता सकें
- अपने VRAM के हिसाब से एक साइज़ चुन सकें
ollama psसे पुष्टि कर सकें कि चुनाव सही है या नहीं
हर साइज़ कितना बड़ा है
Ollama मॉडल लाइब्रेरी में deepseek-r1 के साइज़ (ollama run deepseek-r1:<尺寸>):
| साइज़ | फ़ाइल साइज़ | कॉन्टेक्स्ट लंबाई |
|---|---|---|
| 1.5b | 1.1 GB | 128K |
| 7b | 4.7 GB | 128K |
| 8b | 5.2 GB | 128K |
| 14b | 9.0 GB | 128K |
| 32b | 20 GB | 128K |
| 70b | 43 GB | 128K |
| 671b | 404 GB | 160K |
बिना साइज़ लिखे सीधे ollama run deepseek-r1 चलाने पर आपको latest मिलता है, जिसकी फ़ाइल का साइज़ 8b जितना ही है, यानी 5.2 GB।
"b" का मतलब है एक अरब पैरामीटर। साइज़ जितना बड़ा, आम तौर पर जवाब उतने ही बेहतर, और वीआरएएम की खपत भी उतनी ही ज़्यादा।
- मुझे पता है कि जिस साइज़ का फ़ाइल मैं आज़माना चाहता/चाहती हूँ वह कितना बड़ा है
कैसे पता करें कि फ़िट होगा या नहीं
लोड होने के बाद, मॉडल फ़ाइल से थोड़ी ज़्यादा वीआरएएम घेरता है। हमने 8b पर वास्तविक परीक्षण किया: फ़ाइल 5.2 GB, और ollama ps में 5.6 GB दिखता है। इसलिए मोटे तौर पर कहें तो, वीआरएएम फ़ाइल से काफ़ी ज़्यादा होनी चाहिए। ऊपर दिया छोटा टूल इसी अनुमान से गणना करता है।
असली जवाब ollama ps के PROCESSOR कॉलम में देखें:
| दिखाता है | मतलब |
|---|---|
100% GPU | पूरा ग्राफ़िक्स कार्ड पर, सबसे तेज़ |
48%/52% CPU/GPU ऐसा | कुछ हिस्सा मेमोरी में, कुछ ग्राफ़िक्स कार्ड पर, धीमा होगा |
100% CPU | पूरा मेमोरी में, CPU से गणना, सबसे धीमा |
अगर 100% GPU नहीं है तो एक साइज़ छोटा आज़माएँ।
खोजेंमेरा ग्राफ़िक्स कार्ड है……
एक पर क्लिक करके देखें।
- मैंने साइज़ चुन लिया है और
ollama psसे देख लिया है
चेकपॉइंट
- मुझे हर साइज़ की फ़ाइल का साइज़ पता है
- मुझे पता है कि वीआरएएम फ़ाइल से काफ़ी ज़्यादा होनी चाहिए
- मैं
PROCESSORकॉलम देखकर पता कर सकता/सकती हूँ कि पूरा ग्राफ़िक्स कार्ड पर है या नहीं
आम गलतफ़हमियाँ
यह सोचना कि साइज़ जितना बड़ा उतना बेहतर। जो बड़ा मॉडल वीआरएएम में फ़िट नहीं होता वह बहुत धीमा हो जाता है। पहले सबसे बड़ा साइज़ चुनें जो फ़िट हो।
यह सोच सकते हैं कि इस पेज का R1 ही DeepSeek का सबसे नया मॉडल है। सबसे नया V4 / V4.1 सीरीज़ है, लेकिन वह होम कंप्यूटर पर फिट नहीं होता और Ollama पर भी केवल क्लाउड संस्करण ही उपलब्ध है, देखें DeepSeek V4 क्या लोकल चल सकता है। लोकल चलने लायक अब भी ऊपर बताए गए R1 साइज़ ही हैं।
यह सोचना कि latest सबसे बड़ा वर्ज़न है। इस मॉडल में, latest की फ़ाइल का साइज़ 8b जितना ही है, यानी 5.2 GB।