Заставить искусственный интеллект выполнять действия на iPhone раньше означало либо углубляться в джейлбрейк и сложное программное взломание, либо мириться с ограничениями. Теперь появился более изящный путь: инженер Генри Юань показал, как обычный микроконтроллер ESP32 может стать мостом между ИИ-агентом и вашим смартфоном.
Суть решения в том, чтобы дать ИИ возможность «видеть» экран iPhone и «нажимать» на него. Для этого используется AirPlay и UxPlay для трансляции экрана в виде JPEG-потока, который затем анализируется выбранным ИИ-агентом. Обратная связь осуществляется через ESP32-S3, который, эмулируя USB-мышь и клавиатуру, передает команды. В сочетании с включенной функцией AssistiveTouch на iPhone, это дает ИИ полный контроль над вводом, позволяя ему самостоятельно решать, какие действия предпринять для достижения поставленной цели.
Главное преимущество этого подхода — он обходит стороной необходимость в дорогостоящем оборудовании Apple, таком как Mac, или в аккаунте разработчика. Это значительно упрощает и удешевляет процесс создания систем автоматизации для iOS, делая его доступным для широкого круга энтузиастов и разработчиков, которым ранее приходилось мириться со значительным техническим барьером.
Теперь ИИ-агенты могут взаимодействовать с iPhone, выполняя задачи, которые ранее требовали прямого вмешательства пользователя или специализированных инструментов. Это открывает новые горизонты для автоматизации рутинных операций, тестирования приложений или даже создания более сложных интерактивных систем, где смартфон выступает в роли исполнителя.
В итоге, вместо того чтобы взламывать систему, мы научили ее слушаться команд извне, используя лишь доступные компоненты. И это, пожалуй, куда более элегантное решение.