Skip to content

DeepSeek-R1 चलाएँ ​

इस सेक्शन के बाद आप टर्मिनल में अपने ही कंप्यूटर पर चल रहे DeepSeek से बातचीत करेंगे, और यह पुष्टि करेंगे कि वह ग्राफ़िक्स कार्ड का इस्तेमाल कर रहा है।

शुरू करने से पहले ​

  • Ollama इंस्टॉल हो चुका है, ollama -v में वर्ज़न नंबर दिखता है
  • हार्ड डिस्क पर कम से कम 6 GB खाली हो: deepseek-r1:8b की फ़ाइल 5.2 GB की है

चरण 1: डाउनलोड करें और बातचीत शुरू करें ​

sh
ollama run deepseek-r1:8b

पहली बार चलाने पर मॉडल पहले डाउनलोड होगा। हमारे नेटवर्क पर 5.2 GB डाउनलोड होने में 4 मिनट से ज़्यादा लगे। डाउनलोड के बाद सीधे बातचीत शुरू हो जाती है, सवाल टाइप करके Enter दबाएँ, बाहर निकलने के लिए /bye टाइप करें।

बस एक सवाल पूछकर निकलना चाहते हैं, तो सवाल को कमांड के आगे लिखें:

sh
ollama run deepseek-r1:8b "用一句话解释什么是本地部署大模型。"

आपको यह दिखना चाहिए: पहले सोच की प्रक्रिया, जो ...done thinking. से ख़त्म होती है, और फिर जवाब। हमारे टेस्ट में मिला जवाब था:

text
बड़े आर्टिफ़िशियल इंटेलिजेंस मॉडल को पूरी तरह नियंत्रण और डेटा प्राइवेसी सुनिश्चित करने के लिए सीधे लोकल डिवाइस पर चलाना।

मॉडल का जवाब हर बार बिल्कुल एक जैसा नहीं होता, मतलब सही हो तो चलेगा।

  • मुझे एक जवाब मिला

चरण 2: "सोच की प्रक्रिया" समझें ​

DeepSeek-R1 पहले सोचता है, फिर जवाब देता है। Ollama की आधिकारिक डॉक्युमेंटेशन कहती है कि ऐसे मॉडल रीज़निंग प्रक्रिया और अंतिम जवाब अलग-अलग आउटपुट करते हैं। कमांड लाइन में आपको दिखने वाला लंबा हिस्सा ही उसकी सोच है; ...done thinking. के बाद का हिस्सा आपके लिए जवाब है।

API से कॉल करने पर सोच की प्रक्रिया अलग से thinking फ़ील्ड में और जवाब content फ़ील्ड में आता है, जैसा API से कॉल करें सेक्शन में दिखेगा।

  • मैं सोच की प्रक्रिया और अंतिम जवाब में फ़र्क़ कर पा रहा हूँ

चरण 3: पुष्टि करें कि मॉडल इंस्टॉल हुआ और ग्राफ़िक्स कार्ड इस्तेमाल हो रहा है ​

sh
ollama list

आपको यह दिखना चाहिए: डाउनलोड किए गए मॉडल। हमारी मशीन पर थे:

text
NAME              ID              SIZE      MODIFIED
deepseek-r1:8b    6995872bfe4c    5.2 GB    5 minutes ago

मॉडल चलते समय देखें कि वह कहाँ चल रहा है:

sh
ollama ps
text
NAME              ID              SIZE      PROCESSOR    CONTEXT    RUNNER      UNTIL
deepseek-r1:8b    6995872bfe4c    5.6 GB    100% GPU     4096       llamacpp    4 minutes from now

PROCESSOR वाला कॉलम सबसे अहम है। आधिकारिक व्याख्या: 100% GPU का मतलब है पूरा ग्राफ़िक्स कार्ड में; 100% CPU का मतलब है पूरा मेमोरी में; 48%/52% CPU/GPU जैसा होने पर कुछ हिस्सा मेमोरी में और कुछ ग्राफ़िक्स कार्ड में होता है।

ध्यान दें कि SIZE 5.6 GB है, फ़ाइल के 5.2 GB से थोड़ा ज़्यादा: ग्राफ़िक्स कार्ड पर लोड होने में कुछ अतिरिक्त जगह लगती है।

आपकी परीक्षाollama ps PROCESSOR को 30%/70% CPU/GPU दिखाता है। इसका क्या मतलब है?

  • ollama ps में मेरा मॉडल 100% GPU है, या मुझे पता है कि क्यों नहीं है

कितना तेज़ है ​

हमारे RTX 4080 SUPER पर, deepseek-r1:8b ने 172 token बनाने में 1.41 सेकंड लिए, यानी लगभग 120 token प्रति सेकंड। आपकी गति आपके GPU पर निर्भर करती है; जब यह VRAM में फिट नहीं होता तो यह काफ़ी धीमा हो जाता है।

चेकपॉइंट ​

  • मैंने लोकल DeepSeek से बात की है
  • मैं सोचने की प्रक्रिया और जवाब में अंतर कर सकता/सकती हूँ
  • मैं ollama list से देख सकता/सकती हूँ कि कौन से मॉडल इंस्टॉल हैं, और ollama ps से देख सकता/सकती हूँ कि यह कहाँ चल रहा है

सफल नहीं हुआ? ​

डाउनलोड टूट गया। वही कमांड दोबारा चलाकर फिर से डाउनलोड करें।

PROCESSOR 100% GPU नहीं है। VRAM में यह साइज़ फिट नहीं होता, एक नंबर छोटा मॉडल चुनें, देखें कितना बड़ा मॉडल चुनें।

अगला सेक्शन ​

कितना बड़ा मॉडल चुनें।

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.