Để thực hiện điều này, một nhóm nhà nghiên cứu trong Nhóm Giao diện Tương lai tại Viện Tương tác Người -Máy tính (HCII) Đại học Carnegie Mellon (CMU) đang phát triển một công cụ có tên EyeMU, cho phép người dùng thực hiện mọi thao tác trên điện thoại thông minh bằng cách kết hợp điều khiển bằng ánh mắt và cử chỉ tay đơn giản.
Karan Ahuja, nghiên cứu sinh tiến sĩ về tương tác giữa người và máy tính, đưa ra vấn đề: “Chúng tôi đã đặt câu hỏi, Có cơ chế nào tự nhiên hơn để sử dụng để tương tác với điện thoại không?”. Phân tích và dự đoán ánh mắt không phải là mới, nhưng đạt được mức chức năng có thể chấp nhận được trên điện thoại thông minh sẽ là một bước tiến đáng chú ý. Chris Harrison, phó giáo sư tại HCII và giám đốc Nhóm Giao diện Tương lai, bình luận: “Mắt gặp vấn đề mà bạn gọi là vấn đề về cảm ứng Midas. Bạn không thể gặp phải tình huống có điều gì đó xảy ra trên điện thoại ở mọi nơi bạn nhìn. Quá nhiều ứng dụng sẽ mở ra”. Phần mềm theo dõi mắt với độ chính xác có thể giải quyết vấn đề này.
Andy Kong, sinh viên năm cuối chuyên ngành Khoa học máy tính, bắt đầu quan tâm đến công nghệ theo dõi bằng mắt kể từ lần đầu tiên đến CMU. Kong thấy các phiên bản thương mại đắt tiền, vì vậy anh đã viết một chương trình sử dụng máy ảnh tích hợp của máy tính xách tay để theo dõi mắt người dùng, từ đó di chuyển con trỏ quanh màn hình - một bước quan trọng ban đầu hướng tới EyeMU. Nhóm nhà nghiên cứu của CMU cho thấy cách ước tính ánh nhìn bằng cách sử dụng máy ảnh hướng tới người dùng của điện thoại có thể được kết hợp với cử chỉ chuyển động để kích hoạt kỹ thuật tương tác nhanh trên điện thoại thông minh.
Kong bình luận: “Điện thoại hiện tại chỉ phản hồi khi chúng ta yêu cầu chúng một thứ gì đó, cho dù bằng lời nói, chạm hay bấm nút. Nếu bây giờ điện thoại được sử dụng rộng rãi, hãy tưởng tượng sẽ hữu ích hơn bao nhiêu nếu chúng ta có thể dự đoán những gì người dùng muốn bằng cách phân tích ánh mắt hoặc sinh trắc học khác”. Nhưng, thật không dễ dàng để hợp lý hóa gói để nó có thể hoạt động với tốc độ nhanh trên điện thoại thông minh. Ahuja nhận định: “Đó là một hạn chế về tài nguyên. Bạn phải đảm bảo thuật toán của mình đủ nhanh. Nếu mất quá nhiều thời gian, mắt của bạn sẽ di chuyển theo”.
Kong trình bày những phát hiện của nhóm với Ahuja, Harrison và Trợ lý Giáo sư HCII Mayank Goel tại Hội nghị Quốc tế về Tương tác Đa phương thức năm 2022. Có một bài báo được đánh giá ngang hàng được chấp nhận tham dự một hội nghị lớn là một thành tựu to lớn đối với Kong, một nhà nghiên cứu chưa tốt nghiệp. Kong và Ahuja cải tiến nguyên mẫu ban đầu đó bằng cách sử dụng công cụ Face Mesh của Google để nghiên cứu kiểu nhìn của người dùng khi nhìn vào các khu vực khác nhau của màn hình và hiển thị dữ liệu bản đồ. Tiếp theo, nhóm phát triển một công cụ dự đoán ánh mắt sử dụng máy ảnh mặt trước của điện thoại thông minh để khóa những gì người xem đang xem và đăng ký nó làm mục tiêu. Nhóm đã làm cho công cụ này hoạt động hiệu quả hơn bằng cách kết hợp bộ dự đoán ánh nhìn với cảm biến chuyển động tích hợp trong điện thoại thông minh nhằm kích hoạt các lệnh.
Ví dụ: người dùng có thể xem thông báo đủ lâu để đảm bảo thông báo đó là mục tiêu và vuốt điện thoại sang trái để loại bỏ hoặc sang phải để trả lời thông báo.Tương tự, người dùng có thể kéo điện thoại lại gần để phóng to hình ảnh hoặc di chuyển điện thoại ra xa để ngắt điều khiển ánh mắt, tất cả trong khi tay kia đang cầm một cốc cà phê lớn! Harrison đánh giá: “Các công ty công nghệ lớn như Google và Apple đã tiến gần đến khả năng dự đoán bằng ánh mắt, nhưng chỉ nhìn chằm chằm vào thứ gì đó thôi thì không thể đưa bạn đến đó được. Sự đổi mới thực sự trong dự án này là việc bổ sung một phương thức thứ hai, chẳng hạn như vuốt điện thoại sang trái hoặc phải, kết hợp với dự đoán ánh mắt. Đó là điều làm cho nó trở nên mạnh mẽ. Nhìn lại thì có vẻ quá rõ ràng, nhưng đó là một ý tưởng thông minh tạo nên EyeMU trực quan hơn nhiều”.
Vũ khí điện thoại 
