desktop-harness

Оптимизировано так, чтобы управление компьютером было максимально быстрым и эффективным.

Большинство агентов для управления компьютером сильно зависят от такой схемы:

Скриншот анализ изображения определение места для клика новый скриншот повтор

Это работает, но, по моему опыту, для повседневных задач такой подход не очень практичен. Он медленный, и даже выполнение простых действий может занимать очень много времени.

Раньше Grok Build мог выполнять shell команды на вашем Mac.

Теперь, благодаря этой системе, он способен взаимодействовать и с графическим интерфейсом macOS.

Shell Accessibility мышь и клавиатура скриншоты при необходимости