로봇이 인간의 손으로 하는 피킹, 핸들링 등의 물체 조작을 하기 위해 필요한 센서, 인식 알고리즘, 행동 계획, 핸드 메커니즘 등의 기반 기술에 대한 연구, 그리고 기반 기술의 통합ㆍ응용에 관한 연구개발. 또한 인간의 손의 기능 및 작업을 해명하는 등의 학술적인 지식을 창출하는 활동을 포함함.

로봇 매니퓰레이션은 인간의 손이나 뇌의 기능을 모방하거나 물체 조작에 관한 기술을 다루는 기반적인 연구 분야임. 그 연구 성과는 그대로 수작업의 자동화로 이어지기 때문에 응용 범위가 넓음.

1960년대부터 실용화되어 온 로봇암은 주로 제조ㆍ물류 분야의 물체 운송, 조립 작업에서의 용접, 부품 접착 등에 적용되며, 1980년대부터 1990년대에 걸쳐 획일적인 대량 생산 시대의 자동화, 생산성 향상에 공헌해 왔음.

2000년대에 들어서면서 인터넷이 보급되고 기호의 다양성에 대응하는 시대가 시작되어, 제조에 있어서도 동일한 품종의 대량 생산에서 벗어나 서로 다른 품종을 다루는 변종변량 생산이 시작됨.

동시에 3차원 시각 및 역각(力覚) 등의 센서 기술이 발달함으로써 변종변량 생산에서 다양한 품종을 조작하거나 힘을 제어하여 고정밀 부품을 접착하고 3차원 시각 센서를 통해 자세가 불안정한 물체를 조작하는 등의 연구가 가속화되어, 산적해 있는 부품의 조작(빈피킹, bin picking)이나 커넥터 등 정밀도가 필요한 부품 삽입 작업(Peg-in-Hole) 등 더욱 고도의 매니퓰레이션 태스크도 실용적으로 실행할 수 있게 됨.

또한 2010년에 들어서면서 e커머스가 롱테일의 니즈에 대응하기 위해 물류 창고에 존재하는 상품의 종류를 다양화(예를 들어 한 창고에 1억 종류의 상품이 존재함)하기 시작함.

또한 같은 시기에 심층학습이 로봇 매니퓰레이션에도 응용되기 시작하여, 대규모 상품 종류에 대한 이해와 조작에 빛이 비치기 시작함. Amazon이 주최하는 국제 경기에서 수십 종류의 일용품을 적절하게 로봇이 피킹하여 각광을 받은 것도 이 시기임. 대규모 일용품 피킹 기술의 개발은 2020년대에도 계속되고 있으며, 물류 창고에서 수천~수만 개의 일용품에 대한 매니퓰레이션을 자동화하고 있음.

시대의 니즈를 이루는 형태로 진보를 거듭해온 매니퓰레이션 분야지만, 아직도 인간이 수행하는 모든 작업을 대체할 수는 없음. 니즈에 대한 한정적인 응용에 그치고 있다고 할 수 있음.

다양한 물품을 보유할 수는 있게 되었지만, 학습하려면 대량의 데이터를 얻기 위한 시간과 비용이 필요함. Google이 대량의 일용품에 대한 피킹을 심층학습을 통해 실현하기까지 로봇이 80만 번의 피킹을 수행한 것은 유명한 이야기임.

또한 바꿔 잡거나 진열하거나 상자에 넣는 것과 같은 섬세한 작업을 하기에는 과제가 많음. 또한 비정형 물체나 투명 물체, 경면 물체 등 아직도 인식하거나 조작하기 어려운 대상물도 존재함.

해당 연구 분야는 실제 산업의 니즈로 인해 연구개발 속도가 빨라지고 있음.

US Robotics 로드맵 2020에서는 20년대에도 계속해서 제조 물류가 높은 니즈를 가질 것이라고 주장함. 중국 제조 2025나 EU Horizon Europe(2021~2027) 프로젝트에서도 제조와 AIㆍ로보틱스의 연결을 중요시함.

2015~2017년에 개최된 Amazon이 주최하는 물류 일용품의 매니퓰레이팅 경기가 도화선이 된 물류 창고의 상품 조작 자동화에 있어서는, 지금은 미국 Berkshire Grey, 일본 MUJIN이 독자적인 방법을 통해 피스 피킹 및 물류 내 다품종 상품 피킹의 실용화를 실현함.

3D 물체 모델과 심층학습에 의해 파지(把持) 위치 검출을 조합하여 화제를 불러 모은 미국 캘리포니아 대학의 Dex-Net과 관련된 기술자도 피킹에 관한 스타트업(Ambidextrous Lab)을 설립함.

점포 내 물류에 있어서는 일본의 Telexistence가 편의점 내 페트병 진열 작업을 자동화하여, 200개의 편의점에 로봇 시스템을 도입한다는 임팩트 있는 보도가 있었음. 일본 자국내에서는 반찬의 피킹에 대한 니즈가 있기도 했지만, 비정형 물체 조작, 비정형 물체(액체) 계량, 불규칙한 형태의 식품 정렬 등 매우 고난도의 문제가 잠재해 있기 때문에, 명확하고 임팩트 있는 실용화 사례는 많지 않음.

일본의 엑사위저드와 덴소는 액체 계량의 자동화를 심층 예측 학습 기술을 통해 실용화함. 또한 조리 환경의 자동화에 대해서도 강한 니즈가 있어, 일본의 Connected Robotics이 ROS에 기반한 유연한 시스템 인테그레이션에 근거하여 음식점의 식품 세정 및 특정 식품(예 : 타코야키 등)의 조리를 자동화함.

또한 코로나 사태에서는 특정한 의료 행위의 자동화 니즈도 강해져, 바이러스 검체 자동 채취에 로봇암이 사용되는 경우도 있음.

CAREEBO LLR S1(Lifeline Robotics, 덴마크) : 유니버설 로봇 UR3에, 3D 프린터로 자체 제작된 end effector(로봇팔 끝에 다는 도구)를 사용함. 로봇은 환자의 신분증을 스캔함과 동시에 신분증 라벨이 인쇄된 통과 샘플 키트와 면봉을 준비함. 그 후 로봇은 눈과 같은 역할을 하는 비전 시스템을 사용하여 환자의 목구멍에서 검체를 채취할 부분을 정확하게 확인함. 채취 과정이 완료되면, 로봇은 채취 샘플을 통에 넣고, 뚜껑을 닫는 과정까지 수행함. 전체 과정을 진행하는데 약 7분 정도 소요되고, 검체 채취는 단 25초 만에 종료됨.

SwabBotTM(SingHealth, 싱가포르) : 로봇 전면부의 코걸이에 콧구멍(비공)을 거치하고, 환자가 턱으로 버튼을 누르면 로봇이 면봉을 비인두로 집어넣어 검체를 채취하는 방식임. 의심 환자가 직접 코를 로봇에 닿도록 해야 하고, 턱으로 스스로 원하는 때에 로봇을 직접 동작시키는 것이 특징임. 면봉이 코와 수평 방향으로만 움직일 수 있는 단순한 기구구조이므로, 환자가 비공의 방향을 제대로 일치시키지 않았을 경우 불편함이 발생할 가능성이 있음. 전체 과정을 진행하는데 20초가 소요되며, 수동으로 스왑 검사는 시간이 두 배 더 걸릴 수 있음.

<그림1> CAREEBO LLR S1 / SwabBotTM

국내 제품으로는, ㈜바이오트 코리아의 ‘RAPIDS Platform’이 있음. 비대면 검체 채취를 위해 병렬로봇의 원격제어 기술을 적용하며, 검체 채취 후 면봉을 검체수거통(UTM)에자동/원격으로 수거하기 위한 기술이 적용됨. 의료진이 조작하는 ‘마스터 장치’, 환자와 접촉하는 ‘슬레이브 로봇’으로 구성됨. 슬레이브 로봇에 환자의 코에서 검체를 채취할 수 있는 일회용 스왑(swab)을 장착하고 마스터 장치를 움직이면, 슬레이브 로봇이 이를 따라 움직임. 슬레이브 로봇에 장착된 검체 채취용 스왑은 마스터 장치의 움직임대로 상하좌우로 이동하거나 회전하며, 원하는 부위에 삽입돼 검사 대상물을 채취함. 서로 떨어진 환자와 검사자 간 음성과 영상으로 통신할 수 있는 기능도 탑재됨.

일본에서는 Preferred Networks가 ‘모든 사람에게 로봇을’이라는 콘셉트를 내걸었음. 일용품을 언어 지시에 근거하여 파지하고 정리하는 로봇을 대상으로 하는 학습 모델을 제안하여 톱 컨퍼런스의 베스트 페이퍼를 획득하는 등 임팩트 있는 연구 활동을 수행했지만, 현재의 상황을 보는 한 B2B 등 더욱 명확한 니즈에 대응하는 데 중점을 옮긴 것으로 보임.

또한 2023년에는 미국 Tesla가 자율주행에 이용되는 고도의 심층학습 인식ㆍ제어 기술의 전개로서, 휴머노이드 로봇 ‘옵티머스’의 업데이트 버전 영상을 공개함. 공장이나 물류 창고에서 종이 상자나 부품 등을 물품을 운송할 수 있다고 하였지만, 아직 실용 면에서는 많은 과제가 남아 있다고 발표함. 하지만 가격적인 임팩트가 강하여 향후 기술 개발과 적용할 수 있는 태스크를 발견하는 정도에 따라 큰 시장을 개척할 수 있는 가능성도 있음.

<그림2> 테슬라의 휴머노이드 로봇 ‘옵티머스’

자료 : https://www.youtube.com/watch?v=XiQkeWOFwmk