أي حجم من النموذج تختار
أكبر نموذج يمكن تحميله بالكامل في ذاكرة الرسومات هو ما يجب أن تختاره. التحميل في ذاكرة الرسومات يعطي أسرع أداء؛ وإذا لم يتسع يمكنه العمل أيضًا، لكن جزءًا منه سينتقل إلى الذاكرة ويُحسب بواسطة المعالج، وهو أبطأ بكثير.
جرّب أولًا بذاكرة الرسومات التي لديك:
$ ollama psNAME SIZE PROCESSORdeepseek-r1:8b 5.7 GB 100% GPUdeepseek-r1:8b يمكن وضعه بالكامل في 8 GB من ذاكرة الرسوميات، الأسرع في التشغيل.
ماذا ستستطيع أن تفعل بعد التعلم
- ذكر حجم ملف كل حجم من DeepSeek-R1
- اختيار حجم يناسب ذاكرة الرسومات لديك
- استخدام
ollama psللتأكد من صحة اختيارك
كم حجم كل حجم
أحجام deepseek-r1 في مكتبة نماذج Ollama (ollama run deepseek-r1:<尺寸>):
| الحجم | حجم الملف | طول السياق |
|---|---|---|
| 1.5b | 1.1 GB | 128K |
| 7b | 4.7 GB | 128K |
| 8b | 5.2 GB | 128K |
| 14b | 9.0 GB | 128K |
| 32b | 20 GB | 128K |
| 70b | 43 GB | 128K |
| 671b | 404 GB | 160K |
إذا لم تحدد حجمًا ونفذت ollama run deepseek-r1 مباشرة، ستحصل على latest، وحجم ملفه مثل 8b وهو 5.2 GB.
الحرف "b" يعني مليار معامل. كلما زاد الحجم، عادة ما تكون الإجابات أفضل، لكنه يستهلك ذاكرة رسومات أكثر.
- أعرف حجم الملف للحجم الذي أريد تجربته
كيف تحدد ما إذا كان سيتسع أم لا
بعد التحميل، تستهلك ذاكرة الرسومات التي يشغلها النموذج أكثر من حجم الملف قليلًا. اختبرنا فعليًا 8b: الملف 5.2 GB، وollama ps يعرض 5.6 GB. لذا بشكل تقريبي، يجب أن تكون ذاكرة الرسومات أكبر من حجم الملف بفارق ملحوظ. الأداة الصغيرة أعلاه تحسب على هذا الأساس تقريبًا.
الجواب الحقيقي في عمود PROCESSOR من ollama ps:
| ما يعرضه | المعنى |
|---|---|
100% GPU | موجود بالكامل على بطاقة الرسومات، الأسرع |
48%/52% CPU/GPU في هذه الحالة | جزء في الذاكرة وجزء على بطاقة الرسومات، وسيكون أبطأ |
100% CPU | كل شيء في الذاكرة، ويُحسب بواسطة المعالج، وهو الأبطأ |
إذا لم يكن 100% GPU فجرّب حجمًا أصغر بمقدار درجة.
ابحثكرت الرسومات لدي هو……
انقر على واحد لترى.
- لقد اخترت الحجم، واطّلعت عليه باستخدام
ollama ps
نقطة التحقق
- أعرف حجم ملف كل مقاس
- أعرف أن ذاكرة الرسوميات يجب أن تكون أكبر من الملف بفارق كبير
- أستطيع النظر إلى عمود
PROCESSORلتحديد ما إذا كان يعمل بالكامل على بطاقة الرسوميات
مفاهيم خاطئة شائعة
الاعتقاد بأن الحجم الأكبر أفضل دائمًا. النماذج الكبيرة التي لا تتسع لذاكرة الرسوميات تكون أبطأ بكثير. ابدأ بأكبر حجم يتسع.
قد تظن أن R1 في هذه الصفحة هو أحدث نموذج من DeepSeek. الأحدث هو سلسلة V4 / V4.1، لكن أجهزة الكمبيوتر المنزلية لا تستطيع استيعابها، وعلى Ollama تتوفر النسخة السحابية فقط، انظر هل يمكن تشغيل DeepSeek V4 محليًا. ما يمكن تشغيله محليًا لا يزال هو أحجام R1 المذكورة أعلاه.
الاعتقاد بأن latest هو أكبر إصدار. في هذا النموذج، حجم ملف latest هو نفسه 8b، أي 5.2 GB.