Vercel Labs در ۳۰ اکتبر ۲۰۲۶ نسخه 1.0.2 از agent-desktop را تحت مجوز Apache-2.0 منتشر کرد. این ابزار یک CLI نوشته‌شده با Rust و یک کتابخانه C است که به هر ایجنت کدنویسی با قابلیت اجرای shell اجازه می‌دهد اپ‌های بومی دسکتاپ را بدون نیاز به مدل بینایی (vision model) کنترل کند. agent-desktop یک ابزار است، نه یک ایجنت؛ هیچ LLM داخلی ندارد و حلقه observe-act-verify بر عهده ایجنت شماست.
نحوه کار: درخت دسترس‌پذیری، نه پیکسل#
برخلاف ابزارهای مبتنی بر اسکرین‌شات، agent-desktop از طریق API دسترس‌پذیری سیستم‌عامل به هر اپ دسترسی پیدا می‌کند: روی macOS از AX API، روی Windows از UI Automation و روی Linux از AT-SPI استفاده می‌کند. ایجنت یک snapshot به فرمت JSON دریافت می‌کند که هر عنصر قابل‌عمل را با یک ref مشخص معرفی می‌کند. اگر UI تغییر کند، خطای STALE_REF یا AMBIGUOUS_TARGET برمی‌گردد و ایجنت باید snapshot تازه بگیرد.
در اپ‌های سنگین که هزاران نود دسترس‌پذیری دارند، حالت --skeleton فقط ۳ سطح عمق را می‌خواند. سازنده ادعا کرده این روش در Slack، VS Code و Notion بین ۷۸ تا ۹۶ درصد توکن مصرفی را کاهش داده است. در Apple Maps یک look از ۳,۸۱۱ توکن به ۲۷۳ رسیده و یک تسک شبیه‌سازی‌شده ۵۲ مرحله‌ای از ۱۹۸k به ۳۱k توکن افت کرده. این اعداد خودگزارشی‌اند و هنوز هیچ benchmark مستقلی روی این ابزار انجام نشده.
بدون جابه‌جایی نشانگر، بدون گرفتن فوکوس#
عملیات ref از طریق API دسترس‌پذیری انجام می‌شوند و نشانگر ماوس را تکان نمی‌دهند یا فوکوس پنجره را نمی‌گیرند. یعنی ایجنت می‌تواند هم‌زمان با کار شما روی همان ماشین فعال باشد. هر عملیات ref به‌صورت خودکار تا ۵,۰۰۰ میلی‌ثانیه منتظر می‌ماند تا هدف visible، enabled و stable شود.
محدوده پلتفرم و نصب#
agent-desktop روی macOS 13+، Windows 10 نسخه 1809+ یا Server 2019+ و Ubuntu 24.04+ کار می‌کند. هر دو معماری x64 و ARM64 پشتیبانی می‌شوند و فقط به CPU نیاز دارد، بدون GPU. نصب از طریق npm install -g agent-desktop انجام می‌شود. ۶۰ نام دستور دارد که ۵۶ تا از آن‌ها عملیاتی‌اند.
چه چیزی هنوز حل‌نشده است#
اپ‌هایی که درخت دسترس‌پذیری ندارند — مثلاً اپ‌های گرافیکی قدیمی یا برخی اپ‌های بازی — عملاً خارج از دسترس agent-desktop باقی می‌مانند. مقایسه با ابزارهای مبتنی بر پیکسل (Claude computer use، OpenAI computer use) نشان می‌دهد agent-desktop مدل‌محور نیست و ساختار برمی‌گرداند نه تصویر؛ اما به‌جای آن، محدود به اپ‌هایی است که accessibility tree استاندارد دارند.
خوانش تحریریه: برای کسی که همین حالا ایجنت می‌سازد#
مهم‌ترین چیزی که agent-desktop تغییر می‌دهد این است که «computer use» از انحصار مدل‌های گران‌قیمت بینایی خارج شده و به یک لایه ابزار ساده تبدیل شده است. اگر ایجنت شما الان با اسکرین‌شات و click-on-pixel کار می‌کند، این ابزار می‌تواند هزینه توکن را به‌طور محسوسی پایین بیاورد و هم‌زمان reliability را بالا ببرد، چون عملیات deterministic و retry-safe هستند. اما این جایگزین کامل نیست: هر اپلیکیشنی accessibility tree مناسب ندارد، و ادعاهای کاهش توکن هنوز مستقل تأیید نشده‌اند. برای اپ‌های Electron، Chromium و نرم‌افزارهای مدرن که API دسترس‌پذیری را پیاده کرده‌اند، ارزش امتحان کردن دارد. برای بقیه، همان مسیر vision model همچنان تنها گزینه است.
منبع: MarkTechPost
دیدگاه‌ها
برای گذاشتن دیدگاه وارد شو
دیدگاه‌ها فقط از حسابهای کاربری پذیرفته می‌شوند.
ورود / ثبتنامهنوز دیدگاهی ثبت نشده — اولین نفر باش.