هل يمكن لجهاز الكمبيوتر الخاص بي تشغيل نماذج الذكاء الاصطناعي محليًا؟ CanIRun.ai يساعدك على التحليل السريع

أداة الذكاء الاصطناعي CanIRun.ai يمكنها الكشف تلقائيًا عن مواصفات جهاز المستخدم عبر المتصفح، وتقدير نماذج LLM التي يمكن تشغيلها وسرعة الاستنتاج، إذا كنت مهتمًا يمكنك تجربتها لمعرفة المزيد.
(ملخص سابق: Clawdbot هو أداة AI تعمل على مدار الساعة وتبيع Mac mini بشكل كامل)
(معلومات إضافية: لا تتبع موضة OpenClaw بشكل أعمى، فـ Little Crustacean AI قوي، لكنه قد لا يناسبك)

فهرس المقال

Toggle

• عيوب صغيرة في Canirun.ai
• بديل سطر الأوامر llmfit يظهر
• أكثر ما يريده المجتمع

هل ترغب في تثبيت نماذج اللغة الكبيرة (LLM) على جهازك المحلي؟ أكثر مشكلة يواجهها المبتدئون هي: ما هو النموذج الذي يمكن لجهازي تشغيله؟ في هذا المقال، نقدم أداة حديثة أثارت نقاشًا في مجتمع Hacker News، وهي CanIRun.ai.

CanIRun.ai هي أداة ويب بسيطة جدًا: فقط افتح المتصفح، وستقوم تلقائيًا باستخدام WebGPU API بالكشف عن نوع بطاقة الرسوميات (GPU) وذاكرة الجهاز، ثم بناءً على عدد المعلمات، مستوى التكميم (Q4_K_M، Q8_0، F16، وغيرها) وعرض النطاق الترددي للذاكرة، تقدر مدى قابلية تشغيل كل نموذج وسرعة الاستنتاج (tokens/ثانية)، وتعرض النتائج بتقييم من S إلى F.

يغطي النطاق من نماذج خفيفة جدًا بــ 0.8 مليار معلمة، إلى نماذج ضخمة بــ 1 تريليون معلمة من نوع MoE (مزيج من الخبراء)، وتشمل مصادر البيانات أدوات مثل llama.cpp، Ollama، و LM Studio وغيرها من أدوات الاستنتاج المحلية.

عيوب صغيرة في Canirun.ai

رغم أن فكرة الأداة تلقى قبولًا من المجتمع، إلا أن هناك بعض الانتقادات، خاصة في نقطتين رئيسيتين: عدم شمولية الأجهزة، والفارق بين التقديرات والاختبارات الفعلية.

أكثر مشكلة تُذكر هي نقص قائمة الأجهزة المدعومة. بطاقات RTX Pro 6000، RTX 5060 Ti 16GB، وبطاقات اللابتوب من جميع الشركات غير مدرجة. أما من ناحية شرائح Apple، فتم ذكرها، لكن أعلى سعة ذاكرة مدعومة هي 192GB، في حين أن M3 Ultra يمكنه دعم حتى 512GB.

أما مشكلة التقدير غير الدقيق، فهي أن بعض المستخدمين لاحظوا أن نتائج الاختبار الفعلي تختلف عن نتائج CanIRun.ai. حالات “يعمل النموذج فعلاً لكن الموقع يقول لا” تتكرر في النقاشات، مما دفع بعض المستخدمين للتخلي عن الاعتماد على النتائج.

بالرغم من أن الموقع لا يزال يحتاج لتحسينات، إلا أنه يمكن للمبتدئين الاعتماد عليه بسرعة للتحقق من مواصفات أجهزتهم.

بديل سطر الأوامر llmfit يظهر

وفي الوقت نفسه، اقترح بعض المجتمع أداة بديلة تسمى llmfit: وهي أداة سطر أوامر يمكنها استدعاء أدوات النظام (مثل nvidia-smi) للحصول على معلومات دقيقة عن الـ GPU، دون الاعتماد على API المتصفح، ويعتقد الكثيرون أنها أكثر فاعلية ودقة من النسخة الويب.

لكن، أداة llmfit أثارت موضوعًا آخر: حيث تفاجأ بعض المستخدمين بأنها تستطيع التعرف على نوع البطاقة الرسومية بدقة دون طلب أذونات واضحة. هذا أثار حساسيات المجتمع حول تتبع بصمات المتصفح وخصوصية الأجهزة: إذا كانت أداة ويب يمكنها الكشف عن نوع كرت الشاشة عبر WebGPU، فكيف يُستخدم هذا البيانات؟

اقترح بعض المستخدمين أن يكون من الأفضل دمج هذه الوظيفة مباشرة في Ollama، بحيث يمكن للمستخدمين من خلال سطر الأوامر اختيار النماذج المتوافقة مع أجهزتهم تلقائيًا، وتوفير عناء البحث اليدوي.

أكثر ما يريده المجتمع

وفقًا لتعليقات المجتمع، فإن التحدي الرئيسي لـ CanIRun.ai ليس فقط في دقة التقديرات، بل في أن التقييمات الحالية تعتمد على مقياس واحد فقط: هل يمكن تشغيل النموذج أم لا. المستخدمون يرغبون في معرفة: على أجهزتهم، ما هو النموذج الأفضل من حيث الجودة والسرعة المقبولة؟
الأداة الحالية تقتصر على الإجابة على “هل يمكن تشغيله؟”، ولا تستطيع أن تقول “هل أداؤه جيد بما يكفي؟”.

المجتمع يتمنى أن يتم إضافة تقييمات لمستوى أداء النموذج، مع دمجها مع تقديرات المواصفات hardware، لتوفير خيارات أكثر شمولية.
أما التحسينات التقنية الأخرى فهي تشمل: دمج استراتيجيات مشاركة الذاكرة CPU (لتمكين GPU ذات الذاكرة المحدودة من استخدام ذاكرة النظام)، دعم تقنيات تخزين مؤقت KV، وتصحيح منطق حساب نماذج MoE.

بشكل عام، الاتجاه الذي تسير عليه الأداة صحيح، وهناك طلب سوقي حقيقي: حاجتنا لتسهيل استخدام الذكاء الاصطناعي المحلي للمستخدمين العاديين، ومعرفة “ما هو النموذج المناسب لجهازي؟” بسرعة وسهولة.
CanIRun.ai لامس هذه الحاجة، لكنه لا يزال بحاجة للمزيد من التطوير.