[향기박사 문제일의 뇌 이야기] 딥페이크 영상 속 눈이 말하는 진실

어릴 적 추리소설을 좋아하던 친구들과 '괴도 루팡'과 '탐정 셜록 홈즈'를 놓고 다퉜던 추억이 있습니다. 냉철한 홈즈보다는 인간적인 루팡을 더 좋아했고, 많은 시리즈 중에서 '수정마개의 비밀'을 가장 좋아했습니다. 루팡이 부하를 구하고자 동분서주하다 죽을 뻔한 장면에서는 심장이 터질 듯 쿵쾅대기도 했습니다. 부하의 처형시간이 얼마 남지 않은 순간, 결국 루팡이 찾던 수정마개가 바로 악당의 의안임을 알아채는 장면은 압권이었습니다. 루팡은 악당의 한쪽 눈동자에만 감정이 비치지 않음을 알아차린 것이죠.

정말 우리 눈은 마음의 창인가 봅니다. 실제 눈은 우리의 많은 것을 말해줍니다. 최근 인공지능(AI)의 급속한 발전으로 사람들의 얼굴을 인공적으로 합성하는 '딥페이크'라는 기술이 등장하였습니다. 현재 이 기술은 유명 정치인의 가짜 뉴스를 만들거나 유명 연예인을 자신이 원치 않는 영상의 주인공으로 만드는 등 나쁜 의도로 많이 사용되어 사회적 문제가 되고 있습니다.

이에 미국 뉴욕주립대학의 시웨이 류 교수는 AI 도구를 사용하여 딥페이크로 만들어진 영상을 구별해내는 기술을 개발해 올해 국제전기전자협회(IEEE)의 국제음향음성신호처리학술대회(ICASS)에 소개합니다. 이 기술의 핵심은 영상 속의 인물 눈동자에 반사되는 빛을 관찰하는 것입니다. 우리가 무언가를 볼 때 우리 눈동자에는 우리가 보고 있는 사물의 이미지가 비칩니다. 그리고 실제 사진이나 비디오 속 우리 눈동자에 비친 이미지는 일반적으로 같은 모양과 색으로 보입니다. AI가 딥페이크 자료를 만드는 과정 중 많은 사진을 인위적으로 결합하게 되는데, 이로 인해 대부분의 딥페이크 영상 속 눈동자에 비친 이미지는 정확하거나 일관성 있게 같은 모양과 색을 보여주지 못합니다. 연구팀은 이 점에 착안하여 영상 속 얼굴에서 눈을 찾고, 각 눈동자에 반사되는 빛을 비교하는 AI 툴을 개발하였습니다. 이 툴을 이용해 AI가 생성한 가짜 얼굴 이미지와 SNS 속의 실제 얼굴 이미지들을 사용하여 눈동자에 반사된 빛의 모양, 광도 및 반사된 빛의 미묘한 차이를 상세히 비교한 결과, 가짜 이미지의 눈동자에 반사된 빛은 실제 얼굴 이미지 것과는 다름을 발견했습니다. 거짓 영상 속 눈동자에는 진실 속의 사물의 모습이 비치지 않았기에 거짓임을 알 수 있었습니다. 좀 과장하자면 딥페이크 속 인물의 눈동자에는 진심이 담겨있지 않았던 것이죠.

류 교수의 기술은 딥페이크 기술로 인한 사회적 문제를 해결하는데 기여할 것으로 기대됩니다. 현재 딥페이크 기술은 악용되는 경우가 더 많지만, 이 세상에 함께하지 못하는 그리운 가족들의 모습을 재현하여 우리에게 위로를 주는 순기능도 가능합니다. 그렇다면 선한 목적으로 만들어진 딥페이크 속 그리운 가족 눈동자에는 혹시 사랑과 그리움이 보이진 않을까요?

〈DGIST 뇌·인지과학전공 교수〉