아주 새로운 미술

인공지능의 눈으로 인식한 세계를 탐구하는 신승백 김용훈(왼쪽부터).

신승백 김용훈은 서울을 기반으로 활동하는 아티스트 그룹이다. 컴퓨터공학을 전공한 신승백과 시각예술을 전공한 김용훈이 대학원에서 만나 팀을 결성하고 현재까지 함께 작업하고 있다. 두 사람은 협업을 통해 기술이 인간의 삶에 끼치는 영향에 대해 탐구하며, 최근엔 인공지능을 주로 다루고 있다. 그간 국립현대미술관을 비롯해 독일 ZKM과 프랑크푸르트 응용예술박물관, 오스트리아의 아르스 일렉트로니카, 미국 유타 현대미술관과 프랑스, 네덜란드, 체코, 크로아티아, 호주, 캐나다, 중국 등에서 전시했다.

그룹 이름이 따로 없이 그냥 ‘신승백 김용훈(Shinseungback Kimyonghun)’으로 활동하고 있다. 이유가 있나?
김용훈(이하 김)/ 그게 그룹 이름이다. 나름 이름의 순서까지 고심해 지었다. 무엇보다 두 사람이 함께한다는 의미가 컸다.

둘은 어떻게 처음 만났나?
김/ 시드니 대학교에서 시각예술을 전공한 후 2010년 카이스트 문화기술대학원에 들어갔다. 당시 난 디지털 기술이 사진 미디어를 어떻게 변화시키는지에 관심이 있었다. 거기서 같은 연구실을 쓰는 신승백을 만났고, 함께 뭔가를 해보자며 2012년에 그룹을 결성했다. 난 예술 전공자였기 때문에 기술적 도움이 필요했다. 신승백(이하 신)/ 연세대학교 컴퓨터과학과를 졸업한 후, 삼성전자에서 기술 컨설팅 일을 하다 대학원에 들어갔다. 오랫동안 컴퓨터 그래픽을 공부했기에 대학원에서도 그걸 이용해 이미지를 만드는 작업을 했다. 그러다 사진을 공부한 김용훈과 친해졌고, 함께 기술과 예술을 결합한 실험을 해보자는 얘길 하게 됐다.

김용훈은 예술 전공자고, 신승백은 엔지니어였다. 그룹을 만들 때 어떻게 작업의 플랫폼을 미술로 정하게 됐나?
김/ 나는 예술을 공부했으니 그게 당연한 일이었고, 신승백의 경우 기술 구현의 방법론으로 예술에 관심이 있었다.

1 컴퓨터를 활용해 기존 꽃의 모양을 뒤튼 이미지 중 인공지능이 여전히 ‘꽃’으로 인식한 것만 모아 영상으로 선보인 ‘플라워’.
2 부조물 안에서 관람객들이 실제 바닷가의 바위처럼 파도를 느낄 수 있게 한 ‘스톤’.
3 거울 속에 내장된 얼굴 인식 센서가 거을을 보려는 사람을 피해 각도를 조절하는 ‘논페이셜 미러’.

둘의 첫 작품인 ‘클라우드 페이스(Cloud Face)’(2012년)에 대한 소개를 부탁한다.
김/ 우린 기술이 인간과 사회에 끼치는 영향에 관심이 많다. 그래서 기본적으로 컴퓨터 비전(computer vision, 인공지능 시각 기술)을 작업에 활용한다. ‘클라우드 페이스’는 얼굴 인식 인공지능 알고리즘을 기반으로 한 작품이다. 쉽게 말하면 얼굴 인식 인공지능이 구름을 얼굴로 인식한 모습을 담는 작업이다. 인간이 계속 모습이 바뀌는 구름에서 자동차나 비행기, 사람의 얼굴 같은 형상을 발견하는 것처럼 인공지능도 그것을 본다. 한데 이는 사실 인공지능의 오류다. 우린 이 오류를 이용해 처음 작업을 시작했다.

인공지능과 관련한 작업이 부쩍 많아진 요즘 보통은 어떻게 하면 그 오류를 줄일 수 있을지에 대해 연구하기 마련인데, 어떻게 ‘오류’를 베이스로 작업하게 됐나?
신/ 기술을 단지 ‘도구’로만 보지 않고, 그 기술 자체를 들여다보고 싶었다. 그 지점에서 오류를 다루기 시작했다. 오류를 문제점으로 볼 수도 있지만, 사실 그 오류 자체에서 그걸 만든 인간과의 관계를 알 수 있다. 아무리 잘 작동하는 인공지능이라도 결국 불완전한 인간의 지식을 기반으로 만든 것 아닌가. 우린 인간의 그 불완전함에 주목한다.

‘클라우드 페이스’를 이루는 인공지능 알고리즘도 직접 개발한 것인가?
신/ 얼굴 인식 알고리즘은 이미 세상에 공개된 흔한 기술이다. 누구나 웹에서 다운받아 사용할 수 있다. 아이폰 카메라로 구름을 찍으려 할 때, 그것이 구름을 얼굴로 잘못 인식하는 것도 우리가 사용한 기술과 비슷한 거다. 우린 이미 세상에 존재하는 대표적 알고리즘을 우리 방식으로 조금 개량해 작품에 사용한다.

두 사람 중 신승백은 엔지니어인데 왜 그걸 직접 만들지 않나?
신/ 우리가 만약 직접 만든 알고리즘으로 작업한 후 그 오류에 대해 말한다면, 그것이 우리가 만든 오류인지 특정 알고리즘의 오류인지 정의하기 어렵기 때문이다. 하지만 우리가 이미 널리 퍼진 알고리즘을 사용해 작품을 만들면 그 알고리즘에 어떤 본질적 문제가 있는지 쉽게 보여줄 수 있다. 사실 이런 오류는 그 어떤 집단도 지적하지 않은 부분이다.

4 한 편의 영화 속 등장인물의 얼굴을 모두 찾아 이들의 평균 얼굴을 찾아낸 ‘초상’.
5, 6 서울 하늘에서 찾은 얼굴 형상의 구름을 얼굴 인식 카메라로 보여주는 ‘클라우드 페이스’.

얘길 듣고 보니 그렇긴 하다. 인공지능을 만든 회사도 오류에 대한 얘긴 쉽게 꺼내지 않는다. 왜 그럴까?
김/ 딱히 답이 없기 때문이다. 인공지능의 분류 체계는 인간이 만든 현존하는 최고의 기술이다. 우리가 아는 인공지능의 90% 이상은 사실 기술적으로 모두 ‘분류기’에 해당한다. 사물 인식도 그렇지만, 본질적으론 인공지능 번역이나 알파고 또한 분류를 통해 기술을 구현한다. 하지만 인간이 만든 이 기술을 문제시한다면 이후엔 아무것도 할 수 없다. 그렇다고 그것에 문제가 없는 것도 아니기에 그것을 들여다보려는 거다.

또 다른 작품 ‘동물 분류기(Animal Classifier)’(2016년)에 대한 이야기도 궁금하다. 작품 제목부터 ‘분류기’인데 이 또한 분류를 기반으로 한 것인가?
신/ ‘동물 분류기’는 보르헤스의 <존 윌킨스의 분석적 언어(El Idioma Analitico de John Wlikins)>에서 ‘중국의 어떤 백과사전’에 쓰여 있다고 한 독특한 동물 분류법 14가지를 응용해 만든 작품이다. ‘황제의 소유인 것’, ‘방부 처리된 것’, ‘상상의 것’ 등 분류 기준에 따라 작품에 삽입한 인공지능 알고리즘이 스스로 사진 공유 사이트 플리커의 10만여 개에 이르는 동물 이미지를 14개의 모니터를 통해 보여준다. 이 작품은 “분류 행위 중 자의적이지 않은 건 없다”는 보르헤스의 주장과 맞물려 있다. 이 또한 인간의 모호한 세계 인식과 인공지능 기술이 풀어야 할 난제에 대한 작품이다.

재킷 표면에 수십 개의 특수 카메라를 설치해 ‘언제든 촬영할 수 있다’는 메시지를 전하는 ‘아포시마틱 재킷’과 그것으로 촬영한 결과물.

재킷에 수십 개의 카메라가 달린 ‘아포시마틱 재킷(Aposematic Jacket)’(2014년)은 조금 다른 지점에 있는 작품 같다.
김/ ‘아포시마틱 재킷’은 실제 착용이 가능한 재킷에 단추 크기만 한 카메라를 수십 개 달아, 위험에 처했을 때 재킷에 달린 버튼을 누르면 카메라가 주변을 360도로 촬영해 미리 설정해둔 웹으로 전송하는 작품이다. 카메라가 편재하는 세계와 그것이 강제하는 도덕성(렌즈 앞에선 누구도 함부로 하지 못하는 것)에 대해 생각했다.

그런 작품은 어떤 방식으로 전시하나?
신/ 그냥 전시장의 옷걸이에 걸어놓을 때도 있고, 모델이 입고 퍼포먼스를 하기도 한다. 오스트리아 빈과 독일 카를스루에 전시에선 모델이 직접 착용한 후 퍼포먼스를 펼쳐 보였다.

바닷가의 바위 표면에 센서를 달아 파도가 치는 힘과 소리를 체험할 수 있게 만든 작품 ‘스톤’.

올해의 신작 ‘스톤(Stone)’에 대한 얘기도 궁금하다. 현재 괴테 인스티튜트 상하이(Goethe-Institu Shanghai, 상하이 소재 독일 문화원)에서 전시 중이라고 알고 있다.
신/ ‘스톤’은 바닷가의 바위 표면에 센서를 달아, 파도가 바위를 치는 순간의 힘과 소리를 전시장에서 체험할 수게 있 한 작품이다. 울릉도 바닷가의 한 바위 표면에 워터 센서 64개를 촘촘히 설치해 바위에 파도가 치면 그 신호가 외부 부조물(바위 크기로 만든 체험장)에 전달, 부조물 안에 있는 체험자가 실제 바위처럼 파도를 느낄 수 있게 했다. 포스트휴먼을 주제로 한 작품이다.

그 작품은 여타 작품과 달리 다소 따뜻한 느낌이다. 인간의 불완전성이나 기술의 오류를 짚지 않는다.
신/ 그렇다. 기술이 인간을 어떻게 변화시킬 것인가에 주목했다.

그런데 얘길 듣다 보니 국내보다 해외 전시가 훨씬 많다. 국내에 상대적으로 덜 알려진 이유가 뭘까?
김/ 우리가 작품을 발표하면 보통 해외 온라인 사이트에서 먼저 작품을 소개한다. 그래서인지 이전부터 전시의 70% 이상이 외국에서 이루어지고 있다.

그간 두 사람의 작업에 가장 관심을 보인 곳은 어디인가?
김/ 매년 오스트리아 린츠에서 열리는 세계에서 가장 규모가 큰 미디어 아트 페어 ‘아르스 일렉트로니카(Ars Electronica)’에서 제법 주목받은 적이 있다. 2014년 ‘올해의 작가’ 형식으로 행사에 초대됐는데, 미디어 아트의 대가들이 보통 3~4개의 작품을 선보이는 그 섹션에서 우리 작품 10여 점을 모두 소개했다. 이후 독일의 ZKM등 해외에서 우릴 알아보는 기관과 큐레이터가 늘었다.

올 하반기엔 어떤 계획이 잡혀 있나?
김/ 여름에 상하이(독일 문화원)의 전시가 끝나면 이후 베를린에서 작품을 소개한다. 12월엔 서울의 아트선재센터와 독일 문화원에서도 작품을 선보일 예정이다.

신승백 김용훈
프로그래밍과 컴퓨터 비전 등 기술적 언어를 통해 기계·기술과 인간에 대한 근본적 질문을 던져온 미디어 아티스트 그룹이다. 컴퓨터공학을 베이스로 하는 신승백(1979년~)과 시각예술을 전공한 김용훈(1980년~)으로 이루어진 이들은 최근 인공지능의 눈에 해당하는 컴퓨터 시각을 중점적으로 탐구하는 작업을 진행 중이다.

에디터 이영균(youngkyoon@noblesse.com)
사진 김잔듸(인물)