DeepSeek-R1 चलाएँ
इस सेक्शन के बाद आप टर्मिनल में अपने ही कंप्यूटर पर चल रहे DeepSeek से बातचीत करेंगे, और यह पुष्टि करेंगे कि वह ग्राफ़िक्स कार्ड का इस्तेमाल कर रहा है।
शुरू करने से पहले
- Ollama इंस्टॉल हो चुका है,
ollama -vमें वर्ज़न नंबर दिखता है - हार्ड डिस्क पर कम से कम 6 GB खाली हो: deepseek-r1:8b की फ़ाइल 5.2 GB की है
चरण 1: डाउनलोड करें और बातचीत शुरू करें
ollama run deepseek-r1:8bपहली बार चलाने पर मॉडल पहले डाउनलोड होगा। हमारे नेटवर्क पर 5.2 GB डाउनलोड होने में 4 मिनट से ज़्यादा लगे। डाउनलोड के बाद सीधे बातचीत शुरू हो जाती है, सवाल टाइप करके Enter दबाएँ, बाहर निकलने के लिए /bye टाइप करें।
बस एक सवाल पूछकर निकलना चाहते हैं, तो सवाल को कमांड के आगे लिखें:
ollama run deepseek-r1:8b "用一句话解释什么是本地部署大模型。"आपको यह दिखना चाहिए: पहले सोच की प्रक्रिया, जो ...done thinking. से ख़त्म होती है, और फिर जवाब। हमारे टेस्ट में मिला जवाब था:
बड़े आर्टिफ़िशियल इंटेलिजेंस मॉडल को पूरी तरह नियंत्रण और डेटा प्राइवेसी सुनिश्चित करने के लिए सीधे लोकल डिवाइस पर चलाना।मॉडल का जवाब हर बार बिल्कुल एक जैसा नहीं होता, मतलब सही हो तो चलेगा।
- मुझे एक जवाब मिला
चरण 2: "सोच की प्रक्रिया" समझें
DeepSeek-R1 पहले सोचता है, फिर जवाब देता है। Ollama की आधिकारिक डॉक्युमेंटेशन कहती है कि ऐसे मॉडल रीज़निंग प्रक्रिया और अंतिम जवाब अलग-अलग आउटपुट करते हैं। कमांड लाइन में आपको दिखने वाला लंबा हिस्सा ही उसकी सोच है; ...done thinking. के बाद का हिस्सा आपके लिए जवाब है।
API से कॉल करने पर सोच की प्रक्रिया अलग से thinking फ़ील्ड में और जवाब content फ़ील्ड में आता है, जैसा API से कॉल करें सेक्शन में दिखेगा।
- मैं सोच की प्रक्रिया और अंतिम जवाब में फ़र्क़ कर पा रहा हूँ
चरण 3: पुष्टि करें कि मॉडल इंस्टॉल हुआ और ग्राफ़िक्स कार्ड इस्तेमाल हो रहा है
ollama listआपको यह दिखना चाहिए: डाउनलोड किए गए मॉडल। हमारी मशीन पर थे:
NAME ID SIZE MODIFIED
deepseek-r1:8b 6995872bfe4c 5.2 GB 5 minutes agoमॉडल चलते समय देखें कि वह कहाँ चल रहा है:
ollama psNAME ID SIZE PROCESSOR CONTEXT RUNNER UNTIL
deepseek-r1:8b 6995872bfe4c 5.6 GB 100% GPU 4096 llamacpp 4 minutes from nowPROCESSOR वाला कॉलम सबसे अहम है। आधिकारिक व्याख्या: 100% GPU का मतलब है पूरा ग्राफ़िक्स कार्ड में; 100% CPU का मतलब है पूरा मेमोरी में; 48%/52% CPU/GPU जैसा होने पर कुछ हिस्सा मेमोरी में और कुछ ग्राफ़िक्स कार्ड में होता है।
ध्यान दें कि SIZE 5.6 GB है, फ़ाइल के 5.2 GB से थोड़ा ज़्यादा: ग्राफ़िक्स कार्ड पर लोड होने में कुछ अतिरिक्त जगह लगती है।
आपकी परीक्षाollama ps PROCESSOR को 30%/70% CPU/GPU दिखाता है। इसका क्या मतलब है?
ollama psमें मेरा मॉडल100% GPUहै, या मुझे पता है कि क्यों नहीं है
कितना तेज़ है
हमारे RTX 4080 SUPER पर, deepseek-r1:8b ने 172 token बनाने में 1.41 सेकंड लिए, यानी लगभग 120 token प्रति सेकंड। आपकी गति आपके GPU पर निर्भर करती है; जब यह VRAM में फिट नहीं होता तो यह काफ़ी धीमा हो जाता है।
चेकपॉइंट
- मैंने लोकल DeepSeek से बात की है
- मैं सोचने की प्रक्रिया और जवाब में अंतर कर सकता/सकती हूँ
- मैं
ollama listसे देख सकता/सकती हूँ कि कौन से मॉडल इंस्टॉल हैं, औरollama psसे देख सकता/सकती हूँ कि यह कहाँ चल रहा है
सफल नहीं हुआ?
डाउनलोड टूट गया। वही कमांड दोबारा चलाकर फिर से डाउनलोड करें।
PROCESSOR 100% GPU नहीं है। VRAM में यह साइज़ फिट नहीं होता, एक नंबर छोटा मॉडल चुनें, देखें कितना बड़ा मॉडल चुनें।