UPDATED. 2024-04-27 22:35 (토)
생각만으로 정확하게 로봇팔 조종하는 뇌-기계 인터페이스 개발, 메타버스에도 응용 가능
생각만으로 정확하게 로봇팔 조종하는 뇌-기계 인터페이스 개발, 메타버스에도 응용 가능
  • 정민구 기자
  • 승인 2022.02.23 18:40
  • 댓글 0
이 기사를 공유합니다

카이스트 바이오및뇌공학과 정재승 교수 연구팀, 새 형태의 뇌-기계 인터페이스 개발
인간의 대뇌 심부에서 측정한 뇌파만으로 팔 움직임의 의도를 파악해 로봇팔 제어
축적 컴퓨팅 기법과 유전자 알고리즘 이용한 인공신경망, 3차원상에서 24가지 방향 디코딩
팔 잃은 환자의 팔 장착 및 제어 기술부터 메타버스 이용, 인공두뇌 연구까지 응용 가능
게티이미지뱅크
ⓒ게티이미지뱅크

[바이오타임즈] 뇌-기계 인터페이스(BMI, Brain Machine Interface)는 인간의 뇌와 외부 시스템을 연결해 서로 정보를 교환하게 해주는 장치, 기술이다.

사용자의 뇌파를 읽어 명령을 전달하는 형태의 기술인데 로봇, 드론, 컴퓨터뿐만 아니라 최근에는 급속한 발전으로 스마트 모바일 기기, 메타버스 등에서의 이용될 차세대 인터페이스 기술로 연구되고 있다.

예를 들어 팔이 마비된 환자가 뇌-기계 인터페이스를 통해 생각만으로 로봇이 물건을 들어 올리게 하거나 물체를 움직이게 하는 등의 메커니즘을 떠올리면 된다.

하지만 손을 움직이는 정도의 의도 파악을 넘어, 팔 움직임의 방향에 대한 의도를 섬세하게 파악해 정교하게 로봇팔을 움직이는 기술은 아직 정확도가 높지 않았다.
 

KAIST 바이오및뇌공학과 정재승 교수(사진=KAIST)
KAIST 바이오및뇌공학과 정재승 교수(사진=KAIST)

◇KAIST 바이오및뇌공학과 정재승 교수 연구팀, 새 형태의 뇌-기계 인터페이스 개발

그런데, KAIST 바이오및뇌공학과 정재승 교수 연구팀이 3차원 공간상에서 생각만으로 로봇팔을 높은 정확도(90.9~92.6%)로 조종하는 ‘뇌-기계 인터페이스 시스템’을 개발했다고 23일 밝혔다.

KAIST 김훈희 박사(現 강남대 조교수)가 제1 저자로 참여한 이번 연구는 국제학술지 ‘어플라이드 소프트 컴퓨팅(Applied Soft Computing)’ 2022년 117권 3월호에 출판됐다. (논문명: An electrocorticographic decoder for arm movement for brain-machine interface using an echo state network and Gaussian readout).

정 교수 연구팀은 인공지능과 유전자 알고리즘을 사용해 인간의 대뇌 심부에서 측정한 뇌파만으로 팔 움직임의 의도를 파악해 로봇팔을 제어하는 새로운 형태의 뇌-기계 인터페이스 시스템을 개발했다.

기존의 인터페이스가 외부 신체 기관을 통해 명령을 간접 전달(버튼, 터치, 제스처 등)해야 하지만, 뇌-기계 인터페이스는 명령을 뇌로부터 직접적 전달한다는 점에서 가장 진보된 인터페이스 기술로 여겨진다.

그러나 뇌파는 개개인의 차이가 매우 크고, 단일 신경세포로부터 정확한 신호를 읽는 것이 아니라 넓은 영역에 있는 신경세포 집단의 전기적 신호 특성을 해석해야 하므로 잡음이 크다는 한계점을 가지고 있다.

이러한 한계점으로 인해 대부분의 뇌파를 이용한 뇌-기계 인터페이스 기술은 집중력 척도를 표현하거나 특정 명령의 온-오프 디코딩 정도의 자유도만을 가지고 있었다.

따라서 정 교수 연구팀은 개인 간의 뇌파 특성 차이를 해결하고 높은 자유도를 가지는 뇌-기계 인터페이스 인공지능 모델을 개발하고자 연구를 시작했다.
 

뇌-기계 인터페이스 개념도. 뇌-기계 인터페이스 사용자는 3차원 공간에서 움직이고자 하는 방향을 상상하게 된다(보라색). 방향 상상 중 측정된 뇌파는 축적컴퓨팅 패러다임으로 설계된 재귀 신경망에 입력으로 보내진다(파란색). 재귀 신경망에서는 뇌파 중요 특성 자동 추출 및 디코딩이 수행된다(빨간색). 이는 실제 전두엽에서 이루어지는 복잡한 계산기능을 수행하는 것을 모방한다. 이후 결과를 표현하기 위해 시각피질 영역에 있는 리드아웃으로 디코딩 결과가 전달되고 방향선택성을 가지는 리드아웃이 인터페이스 사용자의 움직임 의도 방향을 표현하게 된다(초록색)(사진=카이스트 정재승 교수)
뇌-기계 인터페이스 개념도. 뇌-기계 인터페이스 사용자는 3차원 공간에서 움직이고자 하는 방향을 상상하게 된다(보라색). 방향 상상 중 측정된 뇌파는 축적컴퓨팅 패러다임으로 설계된 재귀 신경망에 입력으로 보내진다(파란색). 재귀 신경망에서는 뇌파 중요 특성 자동 추출 및 디코딩이 수행된다(빨간색). 이는 실제 전두엽에서 이루어지는 복잡한 계산기능을 수행하는 것을 모방한다. 이후 결과를 표현하기 위해 시각피질 영역에 있는 리드아웃으로 디코딩 결과가 전달되고 방향선택성을 가지는 리드아웃이 인터페이스 사용자의 움직임 의도 방향을 표현하게 된다(초록색)(사진=KAIST 정재승 교수)

◇축적 컴퓨팅 기법과 유전자 알고리즘 이용한 인공신경망, 3차원상에서 24가지 방향 디코딩

이번 연구에서는 3차원 공간에서 자유롭게 팔을 움직이거나 움직이는 상상을 할 때의 뇌파(Electrocorticography, ECoG) 신호를 측정해 이를 디코딩하는 뇌-기계 인터페이스 인공지능 모델을 개발하고자 했다.

연구팀은 최첨단 인공지능 기법의 하나인 ‘축적 컴퓨팅 기법’을 이용해 뇌-기계 인터페이스에서 필요한 개개인의 뇌파 신호의 중요 특성을 인공신경망이 자동으로 학습해 찾을 수 있도록 구현했다.

또한 유전자 알고리즘(Genetic Algorithm)을 이용해 인공지능 신경망이 최적의 뇌파 특성을 효율적으로 찾을 수 있게 시스템을 설계했다. 연구팀은 심부 뇌파를 최종 해석하는 리드아웃(Readout)을 가우시안(Gaussian) 모델로 설계해 시각피질 신경세포가 방향을 표현하는 방법을 모방하는 인공신경망을 개발했다.

딥러닝 등 기존 기계학습 기술은 높은 사양의 GPU 하드웨어가 필요했지만, 이번 연구에서는 축적 컴퓨팅(Reservoir Computing) 기법을 이용해 낮은 사양의 하드웨어에서도 인공지능 학습이 가능하여 스마트 모바일 기기에서도 폭넓게 응용될 수 있도록 개발해, 향후 메타버스와 스마트 기기에도 폭넓게 적용이 가능할 것으로 기대된다.

특히, 이번 연구에서 만들어진 뇌-기계 인터페이스 인공지능 모델은 3차원상에서 24가지 방향 즉, 각 차원에서 8가지 방향을 디코딩할 수 있으며 모든 방향에서 평균 90% 이상의 정확도(90.9%~92.6% 범위)를 보였다. 또한 연구된 뇌-기계 인터페이스는 3차원 공간상에서 로봇팔을 움직이는 상상을 할 때의 뇌파를 해석해 성공적으로 로봇팔을 움직이는 시뮬레이션 결과를 보였다.
 

게티이미지뱅크
ⓒ게티이미지뱅크

◇팔 잃은 환자의 팔 장착 및 제어 기술부터 메타버스 이용, 인공두뇌 연구까지 응용 가능

인공지능 시스템을 만든 제1 저자인 김훈희 박사는 “공학적인 신호처리 기법에 의존해 온 기존 뇌파 디코딩 방법과는 달리, 인간 뇌의 실제 작동 구조를 모방한 인공신경망을 개발해 좀 더 발전된 형태의 뇌-기계 인터페이스 시스템을 개발해 기쁘다ˮ면서 ”향후 뇌의 특성을 좀 더 구체적으로 이용한 ‘뇌 모방 인공지능(Brain-inspired A.I.)’을 이용한 다양한 뇌-기계 인터페이스를 개발할 계획이다ˮ라고 말했다.

이번 연구를 주도한 연구책임자 정재승 교수는 “뇌파를 통해 생각만으로 로봇팔을 구동하는 ‘뇌-기계 인터페이스 시스템’들이 대부분 고사양 하드웨어가 필요해 실시간 응용으로 나아가기 어렵고 스마트기기 등으로 적용이 어려웠다. 그러나 이번 시스템은 90%~92%의 높은 정확도를 가진 의도 인식 인공지능 시스템을 만들어 메타버스 안에서 아바타를 생각대로 움직이게 하거나 앱을 생각만으로 컨트롤하는 스마트기기 등에 광범위하게 사용될 수 있다ˮ고 말했다.

이번 연구 결과는 사지마비 환자나 사고로 팔을 잃은 환자들을 위한 로봇팔 장착 및 제어 기술부터 메타버스, 스마트기기, 게임, 엔터테인먼트 애플리케이션 등 다양한 시스템에 뇌-기계 인터페이스를 적용할 가능성을 열어 줄 것으로 기대된다. 아울러 뇌파 데이터와 축적 컴퓨팅을 응용하여 뇌 기능을 모방하는 리드아웃 설계가 가능함을 보임으로써 인공두뇌 연구에 대한 기초 연구로써도 이용될 수 있을 것이라 보인다.

[바이오타임즈=정민구 기자] news@biotimes.co.kr



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.