인공지능과 예술: 예술을 계산할 수 있을까?(1)

세상의 모든 사고와 논리가 정보처리에 불과하다면, 그래서 그것이 수에 대한 계산으로 설명될 수 있는 것이 사실이라면, 과연 예술은 여기서 예외일 수 있을까요? 그렇지 않습니다. 예술 역시도 소리나 색과 같은 정보의 형식으로 기술될 수 밖에 없으며, 그래서 정보처리의 대상이 됩니다. 인공지능을 통해 예술적인 문제들을 풀고자 하는 계산적 창의computational creativity가 가능하려면 ‘예술도 정보’라는 대전제가 작동해야 합니다.

Gatys, L. A., Ecker, A. S., & Bethge, M. (2016). Image style transfer using convolutional neural networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 2414-2423).

위의 그림은 ‘인공지능과 예술’이라는 키워드에 조금이라도 관심이 있는 분이라면 한 번쯤은 보았을 그림입니다. 이 그림은 컴퓨터가 합성곱신경망CNN: Convoultional Neural Network이라는 딥러닝 알고리즘을 통해 학습을 하고, 학습한 결과에 따라 이미지를 합성시킨 것입니다. 컴퓨터가 ‘독일 튀빙겐 지역의 풍경 사진을 고흐나 뭉크같은 유명 작가의 화풍’으로 다시 그려낸 것입니다 (Gatys, L. A., Ecker, A. S., & Bethge, M., 2016).

이야기를 풀어가기에 앞서서 합성곱신경망에 대해서 잠시 살펴보고 가겠습니다. ‘합성곱’이라는 것은 필터의 특징과 입력된 이미지의 특징을 곱한 후 모두 더해서 새로운 특징을 합성해convolved 내는 것을 말합니다. ‘똑같은 가중치와 편향이 적용되어 있는 필터’로 이미지의 구석구석을 촬영하면서 입력된 이미지 전체를 훑어 내립니다. 이 때 히든레이어의 다른 층에는 가중치와 편향이 다르게 적용된 필터를 적용할 수 있고, 이런 층을 여러개 쌓아 엣지edge나 색비color contrast같은 특징을 추출할 수 있습니다. 이 그림에서는 5x5의 이미지를 3x3 필터를 이용해서 특징을 찾아내는 것을 보여줍니다.

http://deeplearning.stanford.edu/wiki/index.php/Feature_extraction_using_convolution

이 신경망은 이미지 인식, 즉 컴퓨터비젼에서 탁월한 성능을 보이기 때문에 자율주행이나 얼굴인식을 할 때 많이 사용된다고 합니다. ‘보는’ 일을 잘 처리하다보니 자연스럽게 시각예술인 미술과도 연결됩니다.

그런데 ‘본다’라는 것은 무엇을 의미할까요? ‘보는’ 행위로 부터 우리가 얻을 수 있는 이득은 무엇일까요? 가장 큰 이득 중 하나는 ‘분류classification‘ 입니다. 다른 말로 하면 사물과 사물의 경계를 구분하는 것입니다. 예를 들어보겠습니다.

우리가 도로 위에서 운전을 할 수 있는 것은 차도와 인도의 경계, 하행선과 상행선의 경계, 내 차선과 옆 차선의 경계를 알아보기 때문입니다. 앞차, 옆차와 부딛히지 않고 달릴 수 있는 이유는 내차와 다른 차들의 경계를 구분할 수 있기 때문입니다. 횡단보도를 지나는 행인을 피할 수 있는 이유도 사람의 경계를 정확하게 잡아내기 때문입니다. 무의식적으로 운전을 하고 있지만 사실은 우리의 눈이 1초에 20번 정도 사진을 찍어서 뇌로 전송하고, 뇌가 그것들을 화면으로 재구성하고, 화면 속 사물에 대한 분류 작업을 성공적으로 수행하기 때문에 사고 없이 주행할 수 있습니다. 운전 뿐만이 아닙니다. 맹수와 배경의 경계를 잡아내야 도망갈 수 있고 아기와 배경의 경계를 구분해야 젖을 먹일 수 있습니다. 이처럼 ‘분류’는 생존을 위한 기본 중의 기본입니다. 

분류가 시각정보에만 해당하는 것은 아닙니다. 언어에서도 너무 중요합니다. 단어에는 중의적 표현이 많아서 시각 정보만큼 경계가 뚜렷하지는 않지만 어쨌거나 인간은 단어와 단어 사이의 경계를 최대한 명확히 하고자 ‘사전’이라는 어마어마한 책을 만들었습니다. 

음악에서도 분류는 중요합니다. 오케스트라는 수십 개의 악기를 동시에 연주하는데 우리의 귀는 놀랍게도 개별 악기 소리의 ‘경계’를 찾아냅니다. 무엇이 바이올린 소리이고 무엇이 피아노 소리인지를 구분하는 것입니다. 만일 우리가 이 모든 정보를 ‘분류’할 수 없다면, 하루에도 수십 번 씩 교통사고를 낼 것이고, 언어의 뜻이 모호해져서 의사소통에 어려움을 겪을 것이며, 악기 소리를 구분하지 못하기 때문에 여러 가지 악기가 존재해야 할 이유조차 없어집니다. 그리고 결국 생존률은 낮아질 것입니다. 

분류는 이처럼 정보처리에 있어서 너무나도 중요합니다. 그리고 그것은 예술이라고 해서 예외가 아닙니다. 그리고자 하는 대상이 빌딩인지 사과인지 원숭이인지 분류하지 못한다면 아무것도 그릴 수가 없습니다. 그리고자 하는 대상을 분류했더라도 그것을 어느 정도의 굵기의 선으로 그릴 것인지, 어느 정도 농도의 색으로 표현할 것인지 등을 분류하지 못한다면 자신만의 스타일을 가질 수가 없습니다. 이쯤에서 다시 컴퓨터가 그린 ‘고흐 풍의 괴팅겐 풍경’으로 돌아가 보겠습니다. 

그려진 결과만 놓고보면 그동안 우리가 영상편집프로그램에서 사용해왔던 필터 기능과 크게 달라보이는 것이 없습니다. 그래서 사람들은 이 그림을 보고 과거의 방식과 뭐가 다르냐는 질문을 하고, 이것을 예술로 볼 수 있느냐는 질문도 하고, 어디가 창의적인것이냐고 묻기도 합니다. 그러나 우리가 눈 여겨 봐야 할 것은 ‘결과’가 아니라 ‘과정’입니다. 이것은 이 책 전반에서 누누히 강조한 것이기도 합니다. 창의는 결과에 한정되는 것이 아니라 결과가 있기까지의 과정이 반드시 포함되어야 하기 때문에, 어떻게 해서 그 결과에 이르게 되었는지, 그 과정에 창의적이라고 할 만한 것들이 담겨있는지를 살펴보는 것이 반드시 요구됩니다. 

도서 <다빈치가 된 알고리즘> 중에서

다빈치가 된 알고리즘: 예술을 계산할 수 있을까?

창의성은 인간만이 가진 특성일까? 컴퓨터가 예술하는 세상이 온다
위임의 천재, 인간은 인공창의로 어떤 이익을 취할 수 있을까
인공지능 시대, 인간의 일자리를 ‘위협’하는 인공지능은 비교적 단순한 업무에서부터 시작해 천천히 인간을 대체해 나갈 것이라는 전망이 크다. 단순 반복 업무로 이뤄지는 일일수록 대체가 쉬워지고, 기계가 대체할 수 없는 ‘창의적’인 일, 예를 들어 음악이나 미술, 집필 등의 예술 분야의 일이나 인간과 인간이 대면해야 하는 일은 살아남을 가능성이 높다고 이야기한다.
그러나 이 책은 인공지능이 예술을 하는 미래에 대해 이야기하고 있다. 인간만이 가졌다고, 대체가 불가능하다고 여겨지는 ‘창의성’이 인간만의 전유물이 아닐 수 있다는 가능성을 말하는 것이다. 기계란 새로운 무언가를 만들어내는 것보다 시키는 일을 철저히 수행하는 것에 더 특화되어 있다는 우리의 일반적인 통념을 정면으로 반박한다.

우리가 기계보다 ‘창의적’이라고 이야기할 때, 우리는 무엇을 이야기하는 것일까? 과거와는 다른, 새로운 생각을 하는 것? 세상에 존재한 적 없는 결과를 도출해내는 것? 그렇다면 기계는 이미 인간보다 훨씬 창의적이라고 할 수 있을 것이다. 이세돌 9단과 알파고의 대국을 기억해보자. 알파고가 낸 수는 세상 그 누구보다도 창의적인 수가 아닌가? 그 누구도 예상하지 못했던 수, 그리고 그 어떤 수보다 원하는 결과를 잘 이끌어낼 수 있던 수. 그 ‘기계의 한 수’는 인공지능이 이미 창의적이라는 것을 반증하고 있다.
기계가 우리보다 창의적일 수 있다는 것을 우리는 깨달았다. 따라서 이제 우리가 던져야 할 질문은 자명하다. 이제는 이런 기계와 어떻게 공존할 것인가 하는 질문을 던져야 할 때이다. 기계에게 인간 창의성의 극을 달리는 창작물을 위임해보자. 어떤 결과물이 나올 수 있을까? 인간은 지금과는 다른 방식으로 예술을 향유하고 그 새로운 맛을 느낄 수 있을 것이다. 인공지능이 예술을 계산하는 세상, 알고리즘은 이미 다빈치가 된 것이다.

인간은 창의성을 가진 존재로서 차별적 자존심을 가지고 있다. 이 창의성은 사유를 통해 예술, 철학, 과학을 하며 여러 가지 자연이 주는 문제들을 해결한다. 그리고 이 과정은 자기 인식에 기반을 두고 있다. 오늘날 인간에 의한 인간을 닮은 인공지능은 창의성을 가진 인간이 만드는 결과를 부분적으로나마(적어도 비슷하게) 만들어내는 데 성공했다.
기계의 창의 과정이 인간의 창의적 행위에 비해서 단순하다고 느껴질 수도 있다. 그러나 이것은 결국 정도의 차이일 뿐이지 절대적인 것은 아니다. 오히려 기계처럼 인간의 지식이나 사고방식에 얽매이지 않았을 때 창의는 더 좋은 결과를 내기도 한다. 인간을 흉내 내는 데서 출발한 인공지능은, 이제 인간과 다른 새로운 방식을 찾아 인간보다 더 높은 수준에 도달할 가능성을 보이고 있다. 이 상황은 ‘인공지능이 창의성을 가지느냐’는 질문을 불러일으키고, 결국 창의성이란 무엇인지, 그리고 인공창의가 실재하는지를 묻게 한다.
저자는 인공창의가 대두하는 현시대에 인간의 역할은 무엇인지, 인간의 자리는 어디인지 물으면서 아울러 인간이 이런 인공창의에게 밀려나지 않고 그 결과물의 혜택을 보는 방법에 대해 이야기 하고 있다. 인간은 인공창의와 협력함으로써 인간의 지능만으로는 도달할 수 없는 곳에 도달할 수 있다는 것이다.
1부에서는 빅뱅에서부터 물질, 생명, 인간이 만들어지고 인간이 물질에 의미를 부여하는 진화적 과정으로 인공창의가 형성되는 것을 설명한다.
2부에서는 인간의 창의성, 창의적 결과는 무엇인지에 대해 다양한 예와 과정을 들어 설명한다. 여기서 오래 반복된 과정을 통해 진화적으로 창의가 형성되는 과정은 창의성이 인간만의 배타적 고유성을 가지는 것은 아니라는 주장의 근거가 된다.
3부에서는 실제로 기계 또는 인공창의로 상징되는 알고리즘이 만들어낸 예술적 결과물들을 가지고 인공창의의 수준과 능력에 대해서, 그 가능성에 대해서 다시 한 번 확인한다.
4부에서는 인공창의 시대에 인간의 삶과 사회는 어떻게 될 것인가, 인간은 어떤 선택을 해야 하는 것인가에 대해서 이야기한다.
작가의 주장은 예술과 창의성이 무엇인지에 대해 경험과 선택이라는 독특한 결과론적 접근을 통해 펼쳐진다. 완벽한 근거와 보편적 논리전개를 가지기보다는, 보다 높고 다양한 가능성에 비중을 두고 있다. 이는 불확실한 시대에 불확실한 미래를 맞이하는 효율적 자세가 아닐까?

과학적 결과물, 다시 말해 이 책에서 말하는 인공지능의 능력 같은 것에 대하여 그렇게 많은 기대를 하지 않는다. 오히려 조금 부정적이라고 하는 것이 더 적절할지도 모르겠다. 인공지능이 이세돌을 이기고 바둑이라는 게임의 최고수 자리를 빼앗은 것이 그렇게 대단해 보이지 않는다. 그런 것들이 세상에 큰 변화를 주고 그래서 예술에도 영향을 미치지만, 예술은 무결점의 완성형에 도전하는 그런 게임은 아니다. 오히려 인간의 한계를 품고 그것을 적나라하게 드러낼 수 있다는 점에서 예술의 가치를 논하고 평가해야 한다. 그런데 이 책은 인공지능을 통해 인간의 창의성을 증강시켜 인공창의로 나아가라고 한다. 과연 예술의 미래는 어떤 모습일까?
- 문 주 (서울대학교 미술대학 학장)

이 책을 모든 사람이 읽을 필요는 없을 것이다. 그러나 예술가와 예술 분야 종사자라면, 그리고 예술을 사랑하거나 예술의 미래가 궁금한 분이라면 이 책을 필히 추천하고 싶다. 현 시점에서 고민하지 않고서는 결코 넘어갈 수 없는 질문들을 다룬 책이기 때문이다. 저자가 예술 전공자이기 때문일까, 예술에 대한 그의 우려와 애정이 더욱 각별히 느껴진다.
- 안성아 (추계예술대학교 교수)

잘 정리된 과학 학설을 편히 읽고 싶다면 이 책을 덮으시라. 재미있는 상식을 안전하게 얻길 원하는 사람에게도 추천하지 않는다. 오히려 익숙한 개념을 낯설게 연결시키고 때로 위험해 보이는 지적 모험을 감행할 준비가 된 사람에게 일독을 추천한다. 어떤 부분은 납득이 되지 않고, 어떤 부분은 불편할지 모른다. 하지만, 때론 이런 지식의 혼성이 새로운 지평으로 우리를 이끈다.
- 윤신영 (동아사이언스 기자, 전 과학동아 편집장)

추천사
들어가는 글 - 인간, 창의를 기계에게 위임하다

제1장. 인공창의까지 138억 년
창의하는 물질 인간
빅뱅에서 다빈치까지
형식의 세계에 의미를 칠해버린 인간
창의에는 있고 진화에는 없는 것
지능과 창의는 어떻게 다를까
진화적 뇌의 한계를 넘어서다

제2장. 인간창의란 무엇인가
신은 창조하고 인간은 창의한다
끝없는 재조합: 갈라져 나오거나 합쳐지거나
기억은 물질로 확장한다
적응하는 것이 창의적인 것이다
예측하는 인간, 호모 프리디쿠스
학습이 예측을 낳는다
양이 질을 만든다
경쟁: 너무나도 효울적인 창의 플랫폼
네트워크와 창의: 찍고 잇고 오가고
개인이 아니라 시스템이다
보편성이 부르는 다양성의 노래
진화적 창의에 방향성은 없다
진화적 창의에 우열은 없다
우연인가 논리인가
정확한 것이 창의적인 것이다
창의는 잡종: 순수혈통은 없다
개인이 아니라 사회다
아이들은 창의적일 수 있을까

제3장. 인공창의와 예술
예술도 미분할 수 있을까
예술도 예측할 수 있을까
컴퓨터로 들어간 진화 알고리즘
인간의 감정을 배우는 기계
기계와 인간이 같을 필요는 없다
튜링테스트가 말하는 것들
컴퓨터가 창의성을 평가할 수 있을까
알고리즘은 다빈치가 될 수 있을까

제4장 인간은 어떻게 대응하면 좋을까
그래서 어쩌란 말인가
한가함의 철학이 절실하다
인간의 선택은 인간에게 득이 될까
생명은 예술의 재료가 될 것인가