마이크로소프트(MS)가 시각장애인이 주변 세상과 상호작용하는 데 도움을 주는 기술을 탐구하기 위해 2016년 미국, 영국, 중국, 일본, 인도의 연구원들이 파트너십을 맺는 '프로젝트 도쿄(Project Tokyo)'를 2016년 출범한 바 있다. 동사는 해당 프로젝트를 시작한 지 4년이 지나 주변 환경에 있는 사람들에 대한 정보를 제공하는 알고리즘을 MS 홀로렌즈(HoloLens) 증강현실 헤드셋의 수정 버전에 적용했다.
MS 측에서 게시한 블로그 포스트에 따르면, 연구팀은 영국에서 브라질 리우데자네이루에서 열리는 2016년 장애인 올림픽까지 다양한 시력을 가진 선수와 관중들을 따라다니며, 공항을 돌아다니고 스포츠 경기에 참가하고 관광할 때 다른 사람들과의 상호작용을 관찰하는 것으로 시작했다. 그 후, 프로젝트 도쿄 팀의 머신러닝 전문가들은 전면 렌즈가 제거된 홀로렌즈와 연결된 PC에 내장된 그래픽 처리 장치에서 실행되는 알고리즘을 개발했다.
홀로렌즈의 카메라 밴드 위에 부착된 LED 스트립은 대화 대상이나 옆 사람들이 그들이 시야 내에 들어온다는 것을 알려주기 위해서 또는 시야에서 벗어나도록 유도하기 위해 사용자와 가장 가까운 사람을 추적하고 해당 사람이 확인되면 녹색으로 점등된다. 한 컴퓨터 비전 모델은 환경과 사람들의 자세를 감지하여 대상자의 위치와 거리에 대한 정보를 제공한다. 또 다른 하나는 헤드셋 카메라의 영상을 분석하여 사람들을 알아보고 그들이 시스템에 그들의 이름을 등록하기로 선택했는지 여부를 결정한다.
이 모든 정보는 오디오 신호를 통해 사용자에게 전달됨. 예를 들어, 수정된 홀로렌즈가 사용자의 왼쪽에서 1미터 떨어진 곳에 있는 사람을 감지할 경우, 대략 그 거리에서 왼쪽으로 오는 것처럼 들리는 클릭 소리가 재생된다. 만약 그 사람의 얼굴을 알아본다면, 그것은 ‘쿵’하는 소리를 낼 것이고, 시스템에 알려진 사람을 발견하면, 그들의 이름을 알려줄 것이다. 신축성 있는 고무줄과 유사한 별도의 소리는 대상자의 얼굴을 향해 사용자의 시선을 유도한다. 사용자들은 개요를 요청할 수도 있고, 시스템에 의해 인식될 수 있도록 허가를 받은 사람들의 이름을 확인하고, 누군가 그들을 직접 볼 때 공간화된(Spatialized) 차임벨로 경고를 받았다. 마이크로소프트는 이것이 시각장애 아동과 저시력 아동들의 사회적 상호 작용 능력 발달을 위한 기술의 축소된 버전이라고 언급했다.
한편, 도쿄 프로젝트는 저시력과 손상된 시력의 사용자들이 그들 주변의 세상을 돌아다니는 것을 돕기 위해 고안된 모바일 앱인 MS의 ‘Seeing AI' 출시와 같은 노력의 뒤를 잇고 있다. 보다 최근에는, 시각 장애가 있는 사용자들이 낯선 공간에서 생각 내의 지도를 만들고 개인적인 경로를 선택할 수 있도록 도와주기 위해 바이너리 오디오를 사용하는 내비게이션 앱인 ‘사운드스케이프(Soundscape)’를 선보였다. 또한 MS는 2018년 5월 ‘접근성 AI(AI for Accessibility)’를 통해 장애인을 위한 AI 툴을 개발하는 대학, 자선단체 등에 5년간 2,500만 달러를 투자한다고 밝혔다. 이 프로그램은 일, 생활, 인간 관계의 세 가지 범주에서 가장 유망한 후보들에게 씨드 보조금과 각 회계 분기에 대한 후속 자금 지원을 제공하는 것을 목표로 하고 있다.
