Công nghệ hướng tới cảm ứng sinh học

Tìm lại cảm giác thông qua công nghệ đột phá

Bằng cách sử dụng mạng điện cực nhiệt (thermode) đặt trên cánh tay còn lại cung cấp phản hồi nhiệt độ một cách không xâm lấn, bệnh nhân có thể cảm nhận được một vật nóng hay lạnh và thậm chí phân biệt được chất liệu của vật đó, mang lại trải nghiệm chạm chân thực hơn với bộ phận giả của họ.

Hai nhà nghiên cứu Silvestro Micera và Solaiman Shokur rất quan tâm đến việc kết hợp phản hồi cảm giác mới vào chân tay giả mang lại cảm giác chân thực hơn cho người mất chi và nghiên cứu mới nhất của họ tập trung vào nhiệt độ. Họ tình cờ phát hiện ra phản hồi nhiệt độ vượt xa mong đợi. Nếu bạn đặt một vật nóng hoặc lạnh lên cánh tay một người còn nguyên vẹn, người đó sẽ cảm nhận được nhiệt độ vật đó tại chỗ, trực tiếp trên cánh tay của họ. Nhưng ở những người mất chi, cảm giác nhiệt độ trên cánh tay còn lại có thể được cảm nhận… ở bàn tay “ma”.

Với sự hợp tác giữa Đại học Bách khoa liên bang Thụy Sĩ vùng Lausanne (EPFL), Trường Nghiên cứu Cao cấp Sant’Anna (SSSA) của Italy và Trung tâm Protesi Inail (INAIL) của Italy, công nghệ này được thử nghiệm thành công ở 17 trong số 27 bệnh nhân.

Solaiman Shokur, nhà khoa học thần kinh cấp cao của EPFL và người đồng lãnh đạo nghiên cứu, giải thích: “Điều đặc biệt quan trọng là bệnh nhân cảm nhận cảm giác nhiệt ảo tương tự như cảm giác nhiệt mà bàn tay còn nguyên vẹn của họ trải qua. Việc chiếu các cảm giác nhiệt độ vào chi ma đã dẫn đến sự phát triển của công nghệ sinh học mới, một công nghệ trang bị cho các bộ phận giả khả năng phản hồi nhiệt độ không xâm lấn, cho phép người mất chi phân biệt được những gì họ đang chạm vào”.

Silvestro Micera, Chủ tịch Quỹ Bertarelli và giáo sư tại EPFL và SSSA, đồng thời là người đồng lãnh đạo nghiên cứu, bình luận: “Phản hồi nhiệt độ là điều cần thiết để chuyển tiếp thông tin vượt ra ngoài cảm ứng, nó dẫn đến tình cảm. Chúng ta là những sinh vật xã hội và sự ấm áp là một phần quan trọng trong đó. Lần đầu tiên, sau nhiều năm nghiên cứu trong phòng thí nghiệm cho thấy thông tin vị trí và cảm ứng có thể được chuyển giao thành công. Chúng tôi hình dung ra khả năng khôi phục tất cả những cảm giác phong phú mà bàn tay tự nhiên của một người có thể mang lại”.

Phản hồi nhiệt độ, từ sức khỏe đến chân tay giả

Một vài năm trước, Micera và Shokur đã biết về một hệ thống có thể cung cấp phản hồi nhiệt độ qua da của những đối tượng khỏe mạnh. Metaphysiks phát triển công nghệ thần kinh xúc giác, MetaTouch kết nối cơ thể với thế giới kỹ thuật số. MetaTouch kết hợp phản hồi cảm ứng và nhiệt độ để tăng cường các sản phẩm vật lý cho sức khỏe.

Simon Gallo, đồng sáng lập và trưởng phòng Công nghệ tại Metaphysiks, cho biết: “Bước đột phá này làm nổi bật sức mạnh công nghệ trong cải thiện điều kiện y tế và nâng cao chất lượng cuộc sống cho người khuyết tật. Nhóm kỹ sư thần kinh của EPFL đã mượn MetaTouch để cung cấp phản hồi nhiệt trực tiếp lên da của người dùng. Với thiết bị này, họ phát hiện ra cảm giác bóng ma nhiệt và sau đó đã thử nghiệm nó ở 27 người mất chi”.

Nguyên mẫu và thử nghiệm Minitouch

Đối với nghiên cứu, Shokur và Micera phát triển MiniTouch, một thiết bị cung cấp phản hồi nhiệt và được chế tạo đặc biệt để tích hợp vào các thiết bị đeo được như chân tay giả. MiniTouch bao gồm một cảm biến mỏng, có thể đeo được, được đặt trên ngón tay giả của người bị mất chi.

Cảm biến ngón tay phát hiện thông tin nhiệt về vật thể được chạm vào - cụ thể hơn là độ dẫn nhiệt của vật thể. Nếu vật thể là kim loại, nó sẽ dẫn nhiệt hoặc lạnh nhiều hơn, chẳng hạn như vật liệu nhựa. Một nhiệt kế, tiếp xúc với da trên cánh tay còn lại của người mất chi, nóng lên hoặc nguội đi, chuyển tiếp cấu hình nhiệt độ của vật thể được cảm biến ngón tay chạm vào.

Federico Morosato, người chịu trách nhiệm tổ chức khía cạnh lâm sàng của loạt thử nghiệm tại INAIL nói: “Khi chúng tôi trình bày khả năng lấy lại cảm giác nhiệt độ trên chi ma hoặc khả năng cảm nhận được sự tiếp xúc với nhiều loại vật liệu khác nhau, chúng tôi đã nhận được rất nhiều phản hồi tích cực. Và cuối cùng, chúng tôi đã có thể tuyển dụng hơn 25 tình nguyện viên trong vòng chưa đầy 2 năm”.

Nhóm nhà khoa học phát hiện những vùng da nhỏ trên cánh tay còn lại chiếu tới các bộ phận cụ thể của bàn tay ma, như ngón cái hoặc đầu ngón trỏ. Đúng như dự đoán, họ phát hiện bản đồ cảm nhận nhiệt độ giữa cánh tay còn lại và toàn bộ cánh tay ma được chiếu là duy nhất đối với mỗi bệnh nhân.

Bộ phận giả sinh học cho người tàn tật

Gần một thập kỷ trước, Micera và đồng nghiệp đã cung cấp phản hồi cảm giác theo thời gian thực về các vật thể được nắm bắt. Họ tiếp tục cải thiện độ phân giải cảm ứng bằng cách cung cấp phản hồi về kết cấu của đối tượng và thông tin vị trí theo cách đáng tin cậy. Hơn nữa, họ phát hiện những người tàn tật bắt đầu sử dụng bàn tay giả nếu được cung cấp phản hồi cảm giác trực tiếp vào hệ thống thần kinh nguyên vẹn của họ. Cảm giác bổ sung về phản hồi nhiệt độ là một bước nữa hướng tới việc chế tạo bộ phận giả sinh học để sửa chữa cơ thể con người. Tinh chỉnh cảm giác nhiệt độ và tích hợp chúng vào thiết bị đeo được có thể được lập bản đồ cho từng bệnh nhân là một phần của các bước tiếp theo.

Các ứng dụng mới dành cho người dùng khiếm thị khám phá hình ảnh

Người dùng iPhone khiếm thị có sẵn hai công cụ miễn phí mới, được phát triển bởi một nhóm nhà nghiên cứu hiện có trụ sở tại Đại học Michigan (UM). Một người có thể đọc nhãn trên bảng điều khiển trong khi người kia xác định tính năng trong hình ảnh để người dùng có thể khám phá nó thông qua phản hồi cảm ứng và âm thanh. VizLens về cơ bản là một trình đọc màn hình hoạt động trong thế giới thực. VizLens đọc nhãn theo hướng của người dùng, người dùng ngón tay chỉ vào các nút quan tâm trên bảng điều khiển. Với VizLens, người dùng sử dụng máy ảnh trên điện thoại thông minh để hiểu và vận hành nhiều giao diện khác nhau trong môi trường hàng ngày - bao gồm thiết bị gia dụng và ki-ốt công cộng.

Anhong Guo, trợ lý giáo sư khoa học máy tính và kỹ thuật của UM và người đứng đầu sự phát triển của cả hai ứng dụng, báo cáo: “Người dùng khiếm thị chụp ảnh giao diện và chúng tôi sử dụng tính năng nhận dạng ký tự quang học  tự động phát hiện nhãn văn bản. Trước tiên, người dùng tự làm quen với bố cục trên màn hình cảm ứng điện thoại thông minh. Sau đó, họ di chuyển ngón tay trên thiết bị vật lý bảng điều khiển và ứng dụng sẽ đọc nút dưới ngón tay của người dùng”.

Ứng dụng thứ hai, ImageExplorer, giúp những người khiếm thị hiểu rõ hơn về nội dung hình ảnh. Với mục đích này, Guo và nhóm của ông tích hợp một bộ mô hình phân đoạn và phát hiện đối tượng - bao gồm thư viện nhận dạng hình ảnh Detectron2 của Meta và OCR (nhận dạng ký tự quang học) và các mô hình phân tích hình ảnh của Google - cho phép người dùng khiếm thị khám phá những gì có trong hình ảnh và làm thế nào các đối tượng khác nhau liên quan đến nhau. Mục đích của Guo là cung cấp cho người khiếm thị quyền tự quyết khi văn bản thay thế bị thiếu hoặc không đầy đủ, vì phụ đề do trí tuệ nhân tạo (AI) tạo ra thường không đủ.

Guo giải thích: “Có một số chương trình phụ đề tự động mà người mù sử dụng để hiểu hình ảnh, nhưng chúng thường có lỗi và người dùng không thể sửa lỗi vì họ không thể nhìn thấy hình ảnh. Sau đó, mục tiêu của chúng tôi là kết hợp một loạt công cụ AI cung cấp cho người dùng khả năng khám phá hình ảnh chi tiết hơn với mức độ hoàn thiện cao hơn”.

Khi tải lên một hình ảnh, ImageExplorer cung cấp một phân tích kỹ lưỡng về nội dung của hình ảnh. Nó cung cấp tổng quan chung về hình ảnh - bao gồm các đối tượng được phát hiện, các thẻ có liên quan và chú thích. Ứng dụng này cũng có giao diện dựa trên cảm ứng cho phép người dùng khám phá bố cục không gian và nội dung hình ảnh bằng cách chỉ vào các khu vực khác nhau. ImageExplorer là duy nhất ở mức độ chi tiết mà nó cung cấp.

Nó cung cấp cho người dùng mô tả toàn diện về các đối tượng trong ảnh, cho đến cấp độ loại quần áo mà một người đang mặc và họ đang tham gia vào hoạt động gì, cũng như vị trí của các đối tượng này trong ảnh. Guo nói: “ImageExplorer giúp người dùng hiểu nội dung của một hình ảnh mặc dù họ không thể nhìn thấy nó”.

Hàng trăm người tham gia thử nghiệm người dùng khiếm thị đã thử nghiệm với VizLens và ImageExplorer, đưa ra phản hồi cho nhóm của Guo, nhóm đang tiếp tục phát triển các công cụ này. Được thảo luận lần đầu tiên vào năm 2022, ImageExplorer là một khái niệm mới hơn nhiều so với VizLens. Một số chi tiết của nó cần được tinh chỉnh thêm, ví dụ: hầu hết áo được đơn giản hóa thành “áo sơ mi” và các công cụ khác nhau trong ImageExplorer đôi khi cung cấp thông tin mâu thuẫn.

Guo bình luận: “Độ chính xác phụ thuộc vào các mô hình chúng tôi sử dụng và khi chúng được cải thiện, ImageExplorer sẽ cải thiện. Bất chấp những lỗi này, kết quả mà chúng tôi trình bày vào năm 2022 cho thấy ImageExplorer cho phép người dùng đưa ra những đánh giá sáng suốt hơn về độ chính xác của phụ đề do AI tạo ra”.

Guo cũng đang mong đợi phản hồi sẽ đi kèm với việc triển khai công khai: “Chúng tôi sẽ có thể quan sát cách mọi người sử dụng những công cụ này và điều chỉnh chúng cho phù hợp với cuộc sống của họ”.