비전 프로 ‘아이사이트’에서 영감? 메타 새 특허 보니
애플이 올해 초 선보인 혼합현실(MR) 헤드셋 비전 프로는 비싼 가격만큼 새롭고 다양한 기능으로 무장했다. 예컨대 비전 프로는 공간 오디오라는 새로운 유형의 3D 영상을 지원하며, 멀티태스킹에 유리한 인터페이스를 채택했다. 생산성 기능도 많고, 눈과 손 추적으로 모든 기능을 조작할 수 있다. 덤으로 M2, R1 이중 프로세서를 탑재해 사양까지 뛰어나다.
비전 프로가 그간 업계에서 구현하지 않았던 참신한 사용성을 선보이자, 업계 선두주자인 메타(Meta)가 반응하고 있다. 메타 퀘스트에 생산성 기능을 강화하고, 비전 프로에서 영감을 받은 듯한 기능을 하나둘 추가하고 있다. 최근에도 메타가 탐내고 있는 비전 프로 기능 하나가 발견됐다. 바로 기기 사용 중에 사용자 눈을 밖에 투사하는 ‘아이사이트(Eyesight)’ 기능이다.
아이사이트가 뭔데?
가상현실 헤드셋을 착용하면 사용자는 외부와 소통이 힘들다. 헤드셋이 눈앞을 가로막고 있어서다. 아이사이트는 헤드셋 바깥에 사용자 눈과 똑같은 화면을 투사해, 이러한 문제를 해결한다. 여기에 사용자가 주변 환경을 볼 수 있는 패스스루 기능까지 지원한다. 주위 사람은 사용자 표정을 읽을 수 있고, 사용자는 헤드셋 너머 다른 사람과 소통할 수 있다는 것이다.
아이사이트는 기기 내부에 탑재된 적외선 카메라로 사용자 눈 움직임과 얼굴 표정을 읽는다. 이 데이터는 머신러닝 알고리즘으로 분석되며, 기기를 처음 설정할 때 생성하는 디지털 페르소나와 결합된다. 디지털 페르소나란, 처음 기기를 설정할 때 전면 트루뎁스 카메라 시스템으로 구현한 일종의 사용자 가상 아바타다. 이것이 아이사이트가 투사하는 눈의 정체다.
메타, 아이사이트 닮은 기술 특허 출원
7월 22일(현지시간) 미국 IT 매체 나인투파이브맥(9to5mac)에 따르면 메타는 지난해 세계지식재산권기구(WIPO)에 아이사이트를 연상케 하는 특허(WO2024102264)를 출원했다. 회사는 ‘몰입형 현실 헤드셋에 내장된 센서를 통한 사회적 존재감을 구현’이라는 제목으로 특허를 제출했다. 특허를 낸 날짜는 지난해 10월이며, 공개된 날은 올해 5월이다.
메타는 특허에서 실시간으로 수집한 얼굴 표정을 아바타에 적용하는 방법을 설명한다. 먼저 기기 내부에 탑재한 여러 종류의 센서를 활용해, 사용자 눈이나 얼굴 표정을 읽는다. 이때 사용할 수 있는 센서로는 정전식 센서, 광학 센서, 촉각 센서, 습도 센서, 온도 센서 등이 있다. 비전 프로보다 더 많은 종류의 센서를 이용할 수 있다는 것이다.
그다음 얼굴 근육의 움직임과 표정의 관계를 훈련한 머신 러닝 알고리즘으로 사용자가 현재 어떤 표정을 짓고 있는지 결정한다. 인공지능(AI)이 사용자 표정을 분석한 다음에는 이를 가상의 아바타에 적용한다. 흥미로운 점은 표정 데이터를 원격 서버로 전송할 수 있다고 언급한 부분이다. 다른 가상환경 아바타에 적용 가능하다는 의미로 보인다.
메타는 애플 아이사이트와 차별화를 두기 위해 스마트워치 건강 모니터링에 사용되는 각종 센서도 활용할 수 있다고 명시했다. 회사는 언급한 센서는 광혈류측정센서(PPG), 전기심박센서(ECG), 뇌파분석센서(EEG) 등이다. 아쉽지만 이러한 센서가 얼굴 표정을 읽는 데 어떤 도움을 주는진 불분명하다. 건강 모니터링용으로 사용될 가능성도 배제할 수 없다.
메타도 아이사이트 같은 기술 개발해왔다
아이사이트는 비전 프로를 대표하는 기능이지만, 사실 메타는 이전부터 이와 비슷한 기술을 개발해 왔다. 지난 2021년 회사는 가상현실 기기를 착용했을 때 외부 디스플레이에 사용자 눈을 투사하는 미완성 프로토타입 기기를 공개한 바 있다. 당시 메타는 이르 ‘역방향 패스스루’라고 불렀다. 헤드셋 착용자가 밖을 볼 수 있는 패스스루의 반대되는 기술이라는 의미다.
메타는 이후에도 꾸준히 아이사이트와 비슷한 기능을 구현하기 위해 노력한 듯하다. 지난해 12월 글라스 랜먼(Douglas Lanman) 메타 디스플레이 시스템 연구 책임자는 미국 애리조나 대학교 강연에서 역방향 패스스루를 적용한 확장현실(XR) 헤드셋 ‘미러레이크’ 렌더링 영상을 공유했다. 미러레이크는 2022년 메타가 공개한 여러 가상현실 헤드셋 시제품 중 하나다.
랜먼은 영상 속 제품이 가상의 렌더링에 불과하지만, 시간이 있었으면 실제 구현 가능하다고 강조했다. 메타의 과거 행보와 이번에 공개된 특허를 종합하면 이러한 결론을 얻을 수 있다. 메타는 역방향 패스스루라고 부르는 아이사이트와 비슷한 기술을 보유하고 있고, 마음만 먹으면 이를 탑재한 제품을 출시할 수 있다.
단 메타가 아이사이트를 자사 제품에 탑재하는 게 올바른 선택일지는 미지수다. 애플은 아이사이트를 적극 홍보했지만, 사용자들의 평가는 박했다. 사용자 눈 렌더링 품질이 기대 이하였기 때문이다. 실제로 보면 뿌옇고 흐릿하며, 눈이 제대로 정렬되지 않는 경우도 있다고 한다. 메타가 이를 구현하려면, 비전 프로 사례를 교훈 삼아 문제를 해결해야 한다.
댓글 많은 뉴스