스마트폰 없는 미래? AR 기술로 손바닥이 터치스크린이 된다

인류는 스마트폰을 개발하면서 컴퓨터를 손쉽게 휴대할 수 있게 되었다. 이후 AR/VR 기술의 발전과 AR/VR 글래스의 등장으로 어디서든 가상 공간을 체험하거나 눈앞에 스크린을 띄우는 일이 가능해졌다.

 

스마트폰 없는 미래? AR 기술로 손바닥이 터치스크린이 된다

 

 

그렇다면 이제 다음 단계는 무엇일까? 미국 카네기 멜론 대학(CMU)의 '비말 모린'의 연구진은 '손바닥을 터치스크린으로 만드는 AR 기술'을 개발했다고 한다. 가까운 미래에는 스마트폰과 같은 조작 장치마저도 필요 없는 시대가 올 수 있을 것이다. 이 연구의 자세한 내용은 2024년 10월 11일에 학술지 ‘Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology’에 게재되었다.

 

AR 기술이 나아갈 다음 단계는?

 

VR(가상현실) 고글을 사용하면 가상 세계를 체험할 수 있고, AR(증강현실) 고글을 사용하면 현실과 가상 세계를 융합할 수 있다. 예를 들어, 방 안이나 거리에서 게임 캐릭터를 소환하거나, 다른 사람에게 보이지 않는 스크린을 띄워 영화를 감상할 수 있다.

 

최근에는 일반 안경과 거의 구별되지 않는 가벼운 'AR 글래스'도 개발되었다. 앞으로는 안경이나 가벼운 고글만 착용하고도 사람들과 통화하고, 상점의 상품 정보를 확인하며, 영화를 감상하는 것이 자연스러운 시대가 올 것이다.

 

하지만 여전히 해결해야 할 문제가 있다. AR 글래스를 조작하기 위해서는 별도의 기기가 필요하다는 점이다. 물론 음성 입력을 사용할 수는 있지만, 모든 조작을 음성으로 해결하는 것은 여러 가지 한계가 있다. 예를 들어, 음성 인식의 정확도, 주변 소음의 영향, 사생활 보호 문제, 다양한 언어와 방언에 대한 대응 등이다.

 

AR 기술이 웨어러블 형태로 작아지며 핸즈프리 기술에 가까워졌지만, 조작의 편의성을 위해 핸즈프리의 이점을 포기해야 하는 상황이 발생할 수 있다. 스마트폰 없이 통화나 영화 감상이 가능하더라도, 별도의 조작 장치를 들고 다녀야 한다면 '차라리 스마트폰을 쓰는 게 낫다'고 생각할 수 있다.

 

이를 해결할 수 있는 방법 중 하나로는 SF 영화에서 본 적 있는 '공간을 인터페이스로 활용하는' 기술이 있다. 하지만 현재 이 기술을 실현하기는 어렵다. 장치가 사용자가 누르는 위치의 깊이를 인식하기 어려워 실제로 버튼을 누르는 것인지, 아니면 단순히 손가락을 움직이는 것인지를 정확히 구별하기 힘들다. 또한 시야와 손의 위치를 맞추는 것도 어렵고, 촉감이 없기 때문에 정밀한 조작이 힘들다.

 

터치스크린이 보편화된 현재에도 물리적 버튼의 중요성이 다시 주목받는 것을 보면, 촉감이 중요한 요소임을 알 수 있다.

 

손바닥을 터치스크린으로 만드는 기술

 

손바닥을 터치스크린으로 만드는 기술

 

 

'비말 모린'의 연구진의 '손바닥 터치스크린 기술'은 이러한 문제를 해결해줄 수 있을지도 모른다. 이 기술은 손바닥에 AR을 이용해 터치스크린을 투영하고, 이를 통해 스마트폰처럼 손가락으로 쉽게 조작할 수 있게 하며, AR 글래스나 고글에 명령을 전달하는 방식이다.

 

손가락과 손바닥 양쪽에서 촉각 정보를 얻을 수 있어, 기존 터치스크린보다 더욱 직관적이고 자연스러운 사용 경험을 제공한다. 이 기술을 사용하면 AR 글래스 외에 별도의 장치를 소지하거나 착용할 필요가 없게 된다. '비말 모린'의 연구진이 개발한 'EgoTouch'는 손바닥을 터치스크린으로 만드는 기술로, 과거에도 유사한 기술이 존재했으나 이와는 차별화된 접근을 보인다.

 

 

 

 

예를 들어, 과거에는 'OmniTouch'와 같은 기술이 벽이나 사람의 피부에 키보드를 투영해 인터페이스로 사용하는 방식을 취했다. 하지만 이 방식은 깊이 카메라와 같은 특별한 장비가 필요했기 때문에 일반적인 AR 장치에는 적용하기 어려웠다. 반면, EgoTouch는 일반적인 AR/VR 고글에 이미 내장된 RGB 카메라를 활용한다. RGB 카메라는 일반적인 컬러 촬영용 카메라로, 스마트폰 등에서 흔히 볼 수 있는 장치다.

 

이 카메라를 이용해 사용자가 손바닥을 누를 때 생기는 그림자나 피부의 변형을 감지하고, 이를 AI가 분석해 인터페이스로 활용한다. 연구진은 다양한 조건에서 AI를 학습시켰다. 그 결과, EgoTouch는 손바닥 터치를 96% 이상의 정확도로 감지할 수 있었고, 터치의 강약도 98%의 정확도로 구분할 수 있었다. 또한 드래그나 스와이프 같은 복잡한 동작도 인식할 수 있어, 우리가 일반 터치스크린에서 사용하는 다양한 제스처를 적용할 수 있다.

 

EgoTouch 시스템은 아직 개발 중이지만, 이 기술이 제품화되어 AR 글래스와 결합된다면 우리 생활은 또 다른 단계로 진입할 것이다. 새로운 세상에서는 길을 걷는 누구도 스마트폰이나 시계, 음악 플레이어를 들고 다니지 않을 것이다. 대신 스마트한 AR 글래스를 착용하고 손바닥을 터치하며 지금까지 스마트폰으로 했던 모든 일을 할 수 있을 것이다.

 

VIA