Yapay zekayı iPhone'da eylemler gerçekleştirmeye zorlamak, daha önce ya jailbreak ve karmaşık yazılım korsanlığına derinlemesine dalmayı ya da sınırlamalarla yetinmeyi gerektiriyordu. Şimdi daha zarif bir yol var: Mühendis Henry Yuan, sıradan bir ESP32 mikrodenetleyicisinin yapay zeka ajanı ile akıllı telefonunuz arasında bir köprü görevi görebileceğini gösterdi.
Çözümün özü, yapay zekaya iPhone ekranını "görme" ve üzerine "tıklama" yeteneği kazandırmaktır. Bunun için ekranı JPEG akışı olarak yansıtmak üzere AirPlay ve UxPlay kullanılıyor, bu akış daha sonra seçilen yapay zeka ajanı tarafından analiz ediliyor. Geri bildirim, USB fare ve klavyeyi taklit ederek komutları ileten ESP32-S3 aracılığıyla sağlanıyor. iPhone'da etkinleştirilen AssistiveTouch özelliği ile birleştiğinde, bu yapay zekaya tam giriş kontrolü sağlayarak, belirlenen hedefe ulaşmak için hangi eylemleri gerçekleştireceğine kendi başına karar vermesine olanak tanıyor.
Bu yaklaşımın ana avantajı, pahalı Apple donanımlarından (Mac gibi) veya geliştirici hesabından kaçınmasıdır. Bu, iOS için otomasyon sistemleri oluşturma sürecini önemli ölçüde basitleştirir ve ucuzlatır, daha önce önemli bir teknik engelle yetinmek zorunda kalan geniş bir meraklı ve geliştirici kitlesi için erişilebilir hale getirir.
Artık yapay zeka ajanları, daha önce doğrudan kullanıcı müdahalesi veya özel araçlar gerektiren görevleri yerine getirerek iPhone ile etkileşim kurabiliyor. Bu, rutin işlemleri otomatikleştirmek, uygulamaları test etmek ve hatta akıllı telefonun yürütücü olarak görev yaptığı daha karmaşık etkileşimli sistemler oluşturmak için yeni ufuklar açıyor.
Sonuç olarak, sistemi hacklemek yerine, yalnızca mevcut bileşenleri kullanarak dışarıdan gelen komutlara uymasını sağladık. Ve bu, belki de çok daha zarif bir çözüm.