[한스경제=김정연 기자] 오는 4월 총선을 앞두고 허위 조작 영상이 사회관계망서비스(SNS)를 통해 유포되면서 딥페이크(실제와 비슷하게 조작된 디지털 시각물) 콘텐츠 악용에 대한 우려가 커지고 있다. 이에 국내 주요 플랫폼 사들이 딥페이크에 대한 대책 마련에 나섰다.

27일 국내 언론에 따르면 최근 윤석열 대통령의 외모와 목소리를 이용해 만든 딥페이크 영상이 SNS상에서 확산했다. 해당 영상에는 윤 대통령은 “무능하고 부패한 윤석열 정부는 특권과 반칙, 부정과 부패를 일삼았다”라는 내용이 포함됐다.

실제로 중앙선거관리위원회에 따르면 지난달 29일부터 지난 16일까지 적발한 딥페이크 선거운동 게시물은 129건이다.

이에 국내 양대 플랫폼 기업인 네이버와 카카오가 딥페이크 콘텐츠가 정치적으로 오용·악용되는 사태를 차단하기 위한 대책 마련에 나서고 있다.

네이버는 자사 초대규모언어모델 ‘하이퍼클로바X’를 활용한 생성형 AI ‘클로바X’에서도 딥페이크 콘텐츠가 함부로 생성, 악용되지 않도록 조치를 취했다. 음란성 콘텐츠나 얼굴 합성을 요청하는 경우에는 답변을 제공하지 않는 방식이다. 예를 들어 ‘연예인 얼굴 만들어줘’와 같은 얼굴 합성 이슈가 있는 발화를 입력할 시 답변을 제공하지 않는다. 생성된 이미지에 음란물 등의 콘텐츠가 생성되지 않도록 엔진 필터 적용도 완료했다.

딥페이크 관련 키워드 검색 결과에 경고나 주의 문구를 노출하는 방안도 검토하고 있다. 예컨대 이용자가 네이버 검색창에 ‘딥페이크 사이트’ 등과 같은 단어를 입력하면 검색 결과에 주의 문구를 띄우는 식이다.

네이버는 현재 카페·블로그에 이미지 등 콘텐츠 업로드 할 때 딥페이크 영상에 대한 주의 문구를 이달부터 노출하고 있다. 또한 네이버의 AI 콘텐츠 필터링 기술인 ‘그린아이’로 유해 딥페이크를 실시간 차단하고 있다.

카카오는 자사 AI 전문 자회사 카카오브레인의 이미지 생성 모델 ‘칼로’에 비가시성 워터마크를 도입하는 기술을 개발 중이다. 비가시성 워터마크는 이용자에게는 워터마크가 보이지 않으나 기술적으로는 AI를 활용해 만들어진 이미지임을 알 수 있게 하는 기술이다. 구글도 해당 기술을 연구 운영 중이다.

유해 콘텐츠를 필터링하는 기술에 대한 연구도 진행하고 있다. 특히 허위정보 혹은 딥페이크를 검출할 수 있는 방향으로 연구를 진행 중이며, AI 어뷰징 관련 기술적 대응을 위한 팀도 별도로 운영하고 있다.

아울러 카카오가 운영하는 포털 사이트 다음도 AI 기술을 활용해 일반 이미지와 유해 이미지를 분류한 후 유해 이미지를 차단하는 기술을 도입하고 있다.

김정연 기자 straight30@sporbiz.co.kr