Vercel agent-desktop: حين يتحكم وكيل البرمجة بتطبيقات سطح المكتب دون لقطات شاشة
كشفت Vercel Labs عن agent-desktop، أداة مفتوحة تتيح لوكلاء البرمجة التحكم بتطبيقات سطح المكتب عبر شجرة إتاحة الوصول بدل الصور. كيف تعمل وما حدودها؟
في 31 أكتوبر 2026 كشفت Vercel Labs عن أداة مفتوحة المصدر اسمها agent-desktop، هدفها أن يتحكم وكيل البرمجة بتطبيقات سطح المكتب الأصلية، لا بصفحات الويب فقط. الفكرة اللافتة أنها لا تعتمد على لقطات الشاشة، بل تقرأ شجرة إتاحة الوصول (Accessibility Tree) التي يوفرها نظام التشغيل. هذا التحول من «النظر إلى الصورة» إلى «قراءة البنية» قد يغيّر طريقة تعامل الوكلاء مع الواجهات.
ما هي agent-desktop؟
هي أداة سطر أوامر ومكتبة بلغة C، مبنية بلغة Rust، وتعمل على macOS وWindows وLinux. تُرخَّص بترخيص Apache-2.0 ويمكن تثبيتها عبر npm. وهي لا تحتوي على نموذج ذكاء اصطناعي بداخلها: وكيل البرمجة يضع الحكم والقرار، وهي توفر «اليدين» فقط. أما صفحات الويب فتبقى من اختصاص أداة agent-browser.
كيف تعمل؟ شجرة إتاحة الوصول بدل الصور
كل نظام تشغيل يكشف للتقنيات المساعدة، مثل قارئات الشاشة، بنية التطبيق: الأزرار والحقول والقوائم. تستفيد الأداة من هذه البنية كما يلي:
- تطلب لقطة (snapshot) لتطبيق معيّن، فتعود ببيانات JSON تحتوي مرجعاً (ref) لكل عنصر تحكم.
- يختار الوكيل مرجعاً وينفذ عليه إجراءً مثل النقر.
- يطلب لقطة جديدة ليرى النتيجة، وتتكرر الحلقة.
بحسب ما وُصف، تبقى المراجع ثابتة والإجراءات آمنة لإعادة المحاولة، ولا تحرك الأداة مؤشر النظام افتراضياً، أي أنك تستطيع متابعة عملك بينما يعمل الوكيل.
لماذا هذا مهم مقارنة بلقطات الشاشة؟
| الجانب | لقطات الشاشة | شجرة إتاحة الوصول |
|---|---|---|
| الدقة | تخمين مواقع من البكسلات | عناصر معرّفة بمراجع |
| التكلفة | صور كبيرة تستهلك سياقاً | نص JSON مضغوط |
| الثبات | يتأثر بالثيم والدقة واللغة | أقل تأثراً بالمظهر |
| التغطية | يرى كل ما يُرسم | يرى ما يكشفه التطبيق فقط |
حين يقرأ الوكيل بنية الواجهة بدل أن يخمّن من الصورة، يتحول التحكم في التطبيقات من محاولة بصرية هشّة إلى عملية أقرب إلى استدعاء واجهة برمجية.
ما الذي يمكن أن تفعله بها؟
- اختبار تطبيقات سطح المكتب التي لا تملك واجهة برمجية أو اختبارات آلية.
- أتمتة مهام متكررة في برامج قديمة لا تدعم التكامل.
- تمكين وكيل البرمجة من فتح المحرر أو أداة التصميم أو الطرفية الرسومية والتفاعل معها ضمن سير عمل واحد.
- التحقق من أن تطبيقك المبني بإطار مثل Electron أو Tauri يعرض العناصر الصحيحة.
القيود التي يجب أن تعرفها
أبرز قيد أن الأداة لا ترى التطبيقات التي لا تكشف شجرة إتاحة وصول. فإن كان تطبيق يرسم واجهته بالكامل في لوحة رسم مخصصة، كبعض الألعاب أو الأدوات الرسومية، فلن تجد الأداة ما تتعامل معه. وفي macOS تحتاج إلى منح صلاحية Accessibility للأداة.
وهنا نقطة أمنية جوهرية: الصلاحية نفسها التي تتيح للوكيل النقر والكتابة في أي تطبيق مفتوح قد تُساء استخدامها إذا تعرض الوكيل لحقن أوامر عبر محتوى خارجي. لذلك لا تمنحها لوكيل يقرأ محتوى غير موثوق إلا في بيئة معزولة.
توصيات للاستخدام الآمن
- شغّل الوكيل على جهاز أو حساب مخصص للتجارب، لا على جهازك الشخصي الذي يضم جلسات بنكية وبريداً.
- أغلق التطبيقات الحساسة قبل تشغيل الأتمتة.
- راجع الأوامر التي ينفذها الوكيل قبل السماح بها في المهام ذات الأثر الكبير.
- اجعل الصلاحيات مؤقتة وألغِها بعد الانتهاء.
موقعها من اتجاه الصناعة
تأتي الأداة في وقت تتسابق فيه الأدوات لمنح الوكلاء قدرة على العمل خارج الشيفرة: متصفحات وكيلة، وبروتوكولات لإعلان الأدوات، والآن سطح المكتب نفسه. اختارت Vercel Labs أن تفصل الأدوار: أداة للويب وأداة للتطبيقات الأصلية، ونموذج يقرر. هذا الفصل يجعل كل قطعة قابلة للاستبدال، ويقلل الاعتماد على مزوّد واحد.
أسئلة شائعة
هل تعمل agent-desktop مع أي نموذج؟
هي لا تحتوي على نموذج، بل تُستدعى من وكيل برمجة يتولى القرار، لذلك تعتمد جودة النتيجة على الوكيل الذي يستخدمها.
هل تعمل مع صفحات الويب؟
لا، فصفحات الويب متروكة لأداة agent-browser، بينما تركز agent-desktop على التطبيقات الأصلية.
هل هي مجانية؟
الأداة مفتوحة المصدر بترخيص Apache-2.0، ويمكن تثبيتها مجاناً، لكن تكلفة الوكيل الذي يستخدمها تبقى منفصلة.
الخلاصة
تقدم agent-desktop طريقة أكثر انضباطاً لتحكم الوكلاء بسطح المكتب عبر شجرة إتاحة الوصول بدل التخمين من الصور. فائدتها كبيرة في الأتمتة والاختبار، وحدّها أن بعض التطبيقات لا تكشف بنيتها. جرّبها في بيئة معزولة أولاً، وتعامل مع صلاحية الوصول كأنها مفتاح كامل لجهازك.
المصادر: DEV Community وTrendshift.
