[허깅페이스 해커톤 韓 대회] 무박3일 강행군…로봇팔 미션 완료하자 “와! 성공이다”

대구 영남일보 사옥(영남타워) 대강당에서 14~16일 열린 '허깅페이스 르로봇 해커톤' 한국대회에서 심사위원들이 경북대 Knubotis팀이 프로그래밍 한 로봇팔이 양초를 분별 수거하는 작업을 수행하는 모습을 관찰하고 있다. 이현덕기자 lhd@yeongnam.com

허깅페이스 르로봇 해커톤 대회 개막 후 24시간이 지난 15일 오후 3시 대회가 한창이던 대구 영남타워(영남일보 본사) 대강당. 12개 참가팀 작업대 위에는 각각 2개의 SO-101 로봇팔들이 위잉위잉 소리를 내며 반복적으로 움직였다. 또 영상을 인식해 이미지 데이터를 수집하는 카메라가 서 있었고, 좋은 성능을 가진 데스크톱 컴퓨터들을 여러 색의 선들이 이어주고 있었다. 밤을 새며 작업한 탓에 참가자들의 얼굴엔 피곤함이 가득했지만, 모니터를 바라보는 눈빛은 날카로웠다.

대구 영남일보 사옥(영남타워) 대강당에서 14~16일 열린 '허깅페이스 르로봇 해커톤' 한국대홰에서 심사위원들이 KAIST Team Ace팀이 프로그래밍한 로봇팔의 필통 전달 작업을 심사하고 있다. 이현덕기자 lhd@yeongnam.com

◆'위잉위잉' 피지컬 AI 현실 등장

'리더'로 불리는 한쪽 로봇을 참가자가 직접 움직이면 '팔로워'인 다른 한 쪽 로봇이 같은 동작을 따라했다. 팔로워는 조금씩 다른 동작들을 여러번 따라하면서 모터가 얼마나 회전했는지 각도 등에 대한 데이터를 끊임없이 전송했다. 이에 모니터엔 정신없이 코드들이 입력되고 영상 파일이 저장됐다. 로봇을 비추는 여러대의 카메라는 영상을 촬영하고 학습 시도 1회마다 저장해 이미지 데이터를 수집했다.

해커톤 대회는 짧은 시간 안에 이 같은 데이터를 반복 수집해 얻은 결과 값으로 팔로워가 얼마나 정상 작동하고 정확한 일을 해 내느냐가 관건이다. 창의적인 아이디어를 완성도 있고 편리한 기술로 구현해 내고, 현실에 어떻게 적용할 지가 심사의 포인트다.

경북대 'Knubotis 팀'이 구현한 로봇팔은 상자 내부에 위치한 4가지 색의 양초 중 명령한 색깔 1개를 집어 뒤편 포장 상자에 넣었다. "Pick the purple candle(보라색 양초를 집어서 옮겨줘)"라는 자연어를 입력하니 로봇팔이 소리를 내며 움직이기 시작했다. 로봇팔은 전시된 보라색 양초를 정확히 집어 뒤로 넘긴 후 준비된 흰색 소형 상자 안에 떨어 뜨렸다. 이들은 기존 로봇팔의 모방학습에 VLA(Vision-Language-Action) 모델을 더해 로봇의 일반화 성능을 강화했다. AI와 결합된 로봇은 일반화가 중요한데, VLA는 휴머노이드와 AI가 결합하며 강화된 일반화 성능을 갖는다. 쉽게 말해 로봇과 거대언어모델(LLM)인 챗지피티(ChatGPT)가 결합한 것으로, 좋아진 일반화 성능은 예기치 못한 변수에 로봇이 자체적으로 상황을 대처하는데 도움을 주기도 하고 무작위의 색깔을 알아서 일반화 해 인식하기도 했다.

손창우(23·경북대 전자공학부 3학년) 참가자는 "로봇팔 아이디어를 군복무 전후로 유통업체 상하차 아르바이트와 배달라이더를 경험하며 로봇 팔이 고객들이 주문한 물건을 집어서 자동으로 카트에 담아주는 시스템이 필요하다는 것에서 착안했다"고 전했다.

대구 영남일보 사옥(영남타워) 대강당에서 14~16일 열린 '허깅페이스 르로봇 해커톤' 한국대홰에 참가한 대구대 'A.I.S'팀이 로봇 시스템을 점검하고 있다. 이지용기자 sajahu@yeongnam.com

◆무박3일 52시간 해커톤 '잘 먹고 잘 버텨야'

대회장 바깥 한켠에 마련된 쉼터 의자는 장시간 반복 작업에 지친 참가자들이 몸을 기대고 쪽잠을 자는 공간이었다. 한쪽으로 기대어 쓰러진 모습은 마치 격한 운동을 한 뒤 체력이 방전된 모습이었다. 일부 참가자들은 스마트폰을 보며 휴식을 취하기도 하고, 로봇팔을 움직이며 잠을 참고 하품을 연발하기도 했다.

계속된 오류와 학습 일정으로 참가자들은 식사시간 가릴 것 없이 수시로 편의점에서 요깃거리를 사와 팀원들과 함께 먹었다. 시간에 쫓기는 참가자는 부식 테이블 위 과자를 가져와 자리에서 먹으며 허기를 채우기도 했다. 장시간 실내에서 지친 참가자들은 바깥으로 나와 스트레칭을 하며 신선한 공기를 마시기도 했다.

대구 영남일보 사옥(영남타워) 대강당에서 14~16일 열린 '허깅페이스 르로봇 해커톤' 한국대회에서 심사위원들이 경북대 Knubotis팀이 로봇을 점검하고 있다. 이지용기자 sajahu@yeongnam.com

◆실패는 성공의 어머니

국립경국대 '아리' 팀은 경북대 Knubotics와 마찬가지로 VLA 모델을 적용해 배열된 신발을 신발장에 집어넣는 로봇 아이디어를 구현하기 위해 애쓰고 있었다. 리더를 움직여 30회의 에피소드를 학습했다. 학습 도중 예기치 못한 변수들이 발생하곤 했는데, 고정돼 있어야 할 카메라가 움직이거나 로봇팔 고정이 풀리며 정확한 위치 데이터를 수집하지 못하기도 했다. 아리팀은 문제 해결을 위해 카메라를 케이블 타이로 단단하게 고정시키고 다시 로봇을 학습시켰다.

심사시간이 다가오자 참가팀들은 학습을 끝마치고 마지막 시험에 돌입했다. 유일하게 다른 지역 대학생들로 이뤄진 한국과학기술원(KAIST) 'Team Ace' 팀은 로봇팔이 필통을 집어 다른 로봇팔 옆에 위치시키면 그것을 인식해 두 번째 로봇팔이 전달 받아 다른 곳에 내려놓는 전달 아이디어를 구현하며 주목 받았다. 구동을 시작하니 전달을 맡은 로봇팔이 전달할 때 집게를 놓지 않기도 하고, 제대로 된 위치를 집지 못해 떨어지는 과정이 반복됐다. 오류가 반복되자 참가자들의 얼굴이 상기되면서 긴장감이 흘렀다. 하지만 이후 학습을 마치고 필통이 성공적으로 전달되자 "와 성공이다~" 등의 환호성과 함께 팀원들이 하이파이브를 하며 자축했다.

권석준(27·KAIST 전기전자공학부) 참가자는 "VLA 모델 적용을 통해 로봇팔끼리 주고받는 것과 더불어 사람 손에 있는 물건을 옮기는 것도 가능했다. 학습하지 않은 것도 추론하는 능력이 있다는 것이 증명된 것"이라며 "30시간 넘게 무수면 상태로 집중하고 있어 고되지만 원하는 결과를 얻어 뿌듯하다"고 했다.

예기치 못한 변수로 중도 포기하는 팀도 있었다. 계명대 '로봇체험단' 팀은 치명적인 모터 설정 오류로, 계명대 '도차장' 팀은 카메라 구동 오류 문제로 장시간 해결을 시도했지만 결국 문제가 해결되지 않아 대회 도중 짐을 싸게 됐다.

대구 영남일보 사옥(영남타워) 대강당에서 14~16일 열린 '허깅페이스 르로봇 해커톤' 한국대회에 참가한 계명대 도차장팀이 로봇을 조립하고 있다. 이지용기자 sajahu@yeongnam.com

◆ 긴장된 심사, 날카로운 질문

15일 오후 8시30분이 되자 심사위원인 서형주 카본식스 기술경영책임자(CTO)와 김병규 엑스퀘어드 대표가 심사표를 들고 10개 팀을 돌기 시작했다. 강아지 배변패드 자동 교체 아이디어를 구현한 경북대 'Logi'팀은 원하는 움직임을 정확히 구현해 냈다. 소변 대용인 노란색 오렌지 주스를 패드 위에 쏟자 로봇이 오염을 인식하고, 배변 패드를 접은 뒤 새 패드를 깔자 팀원들의 얼굴에 웃음이 멤돌았다. 한편 테스트를 성공했던 팀들도 각자의 로봇팔이 생각한대로 움직이지 않자 '아~' 하는 탄식을 내뱉기도 했다. 짧은 시간 내 학습이 부족해 아이디어 구현에 실패한 팀들은 직접 리더팔을 움직이며 생각했던 아이디어를 심사위원들에게 발표하며 끝까지 노력하는 자세를 잃지 않았다.

로봇공학자 서형주 박사는 10개 팀을 돌아보며 기술적인 부분에서 날카로운 질문을 던졌고, 김병규 대표는 벤처투자자의 시각으로 의지에 대해 알아보기 위해 의미있는 질문을 던져 참가자들을 긴장시키기도 했다.

심사를 참관한 카이스트 출신 AI 전문가 신승우 미국주식사관학교(마지글) 대표는 "로봇공학에서 특정 모션을 하나로 학습시키는 데 기존엔 일주일씩, 더 오래 걸렸었는데 올해부터 피지컬 AI가 등장하며 기간이 많이 단축됐다. 기술의 진전이 대단하다"면서 "이번 해커톤이 기술 발전의 시기에 맞게 잘 개최됐는데, 계속해서 대회가 잘 이어졌으면 좋겠다"고 했다.

이동현(경제)기자 shineast@yeongnam.com

이동현(경제)

기사 전체보기

영남일보(www.yeongnam.com), 무단전재 및 수집, 재배포금지