그동안 여러 명의 "음악과학자"들을 소개해 드렸습니다. 데이비드 코프(David Cope), 도냐 퀵(Donya Quick), 메이슨 브레튼(Mason Bretan), 프란시스코 비코(Francisco Vico) 등이 바로 그들 입니다. 달리 더 좋은 단어가 생각나지 않아 "음악과학자"라는 표현을 시도해 봅니다. 음악가라는 설명만으로 또는 과학자라는 설명만으로는 이들에 대해 설명해 낼 수가 없습니다. 이들은 연결점이 많지 않을 것 같은 음악과 컴퓨터 사이언스라는 서로 다른 분야를 좀 더 통합적인 시선을 통해 바라봄으로써 음악을 창작하는 인공지능을 만드는 일에 도전하고 있습니다.
이 일군의 음악과학자들은 감성적 영역으로 이해되는 음악에 대해 과학적 이해를 시도함으로써 기계가 인간의 감성과 창의력에 대해 이해하고 배우도록 합니다. 이들은 여기서 멈추지 않고 예술적 창작행위를 할 수 있는 기계, 인간과 감성적 교류를 할 수 있는 기계를 만드는 일에 도전하고 있습니다. 또 인간과 기계의 콜라보를 통해 지금까지는 존재하지 않았던, 완전히 인간의 예술도 아니고 완전히 로봇의 예술도 아닌, 인간과 로봇이 함께 만들어 내는 전혀 새로운 예술의 탄생을 이끌고 있습니다.
학제간 융합이라는 표현을 들어보셨을 겁니다. 서로 다른 분야의 전공자들이 모여 각자의 관점이나 지식을 나누다 보면 각각의 영역에만 머무르던 아이디어들이 "연결"되면서, "새로운 것 없이도 새로운 것을 만들어 낼 수 있는" 가능성을 갖게 됩니다. 기술과 문화를 결합하려는 CT(Culture Technology), 예술과 경영을 결합하려는 예술경영(Art Management) 등이 바로 그 예 입니다. 그런데 인공지능과 예술의 접점에 대해 관심을 갖고 자료를 찾다보니 융합이라는 것이 서로 다른 한 가지 능력을 갖고 있는 여러 사람이 모여 있을 때 보다 여러 가지 능력을 한 사람이 갖고 있을 때 더 큰 폭발력을 발휘하는 것은 아닐까 하는 생각에 다다릅니다.
이렇게 한번 생각해 보겠습니다. 서로 다른 종인 두 개체가 만나 새로운 종으로 진화를 한다고 가정했을 때 서로 다른 종인 이 둘은 아마도 여러 번의 실패를 겪으면서 몇 세대에 걸쳐 아주 느리게 새로운 종으로 진화해 나갈 것입니다. 그런데 우연히 여러 종의 DNA를 한 몸에 갖고 있는 개체가 있다면(일종의 돌연변이) 이 개체는 부작용을 최소화 하는 동시에 아주 빠른 속도로 새로운 종으로의 진화를 시도할 것입니다. 음악과 컴퓨터 사이언스라는 서로 다른 종류의 DNA를 한 몸 안에 갖고 있는 이 "음악과학자"들이 인간 고유의 정신활동인 예술을 인간과 기계의 협력 또는 경쟁 관계로 빠르게 진화시키고 있습니다. 음악인이자 동시에 컴퓨터 사이언티스트이기도 한 이 슈퍼휴먼들이 인간 예술의 영역을 전혀 새로운 지평으로 확장시키고 있습니다.
오늘 소개드릴 영상은 로봇 팔이 더해진 인간 드러머의 드럼 연주 영상입니다. 그 동안 소개 드렸던 예술과 관련된 기술은 크게 두 가지로 나뉩니다. 하나는 로봇의 창작에 관련된 기술이고 다른 하나는 로봇의 연주에 관련된 기술입니다. 전자가 인공지능과 관련된 소프트웨어 쪽이라면 후자는 연주를 하는 로봇(하드웨어)에 가깝습니다. 그런데 오늘 소개드릴 영상은 하드웨어와 소프트웨어가 결합된 로봇 팔이고, 게다가 사람이 이 로봇 팔을 착용하고 연주하는 방식입니다. 사람과 로봇이 결합한 새로운 형태로 볼 수 있으며, 단순 결합이 아닌 사람의 연주와 그 연주를 이해하고 그에 맞게 즉흥연주를 하는, 인간과 로봇이 음악적으로 결합할 수 있는 이상적인 형태라고 하겠습니다.
Jason Barnes 가 로봇 팔을 착용하고 연주하는 모습
인간 의지와 로봇 즉흥연주의 결합
이 프로젝트는 지난 번에 소개드린 바 있는 조지아텍의 메이슨 브레튼(Mason Bretan)이 참여한 프로젝트입니다. 메이슨이 즉흥연주를 하는 인공지능을 개발했던 이력이 이 프로젝트에도 반영되었습니다. 그의 설명에 따르면 로봇 팔에는 두 개의 스틱이 달렸있습니다. 그 중 스틱 A는 사람 연주자의 팔로 연주하거나 로봇의 근전도근육센서(electromyography (EMG) muscle sensors)에 의해서 연주될 수 있고, 나머지 스틱 B는 스틱 A가 연주하는 것을 듣고 그에 반응하며 즉흥 연주를 합니다. 로봇 팔에는 실제로 연주되는 음악을 들을 수 있는 칩이 내장되어 있습니다.
위 영상이 로봇 팔의 프로토타입 모습니다. 화면상으로 스틱이 너무 빨리 움직여서 하나로 보입니다만 잘 보면 두개가 움직이는 것이 보입니다. 메이슨의 설명대로 스틱 A는 사람이 스틱을 잡고 치는 것과 같은 똑 같은 효과를 냅니다. 메이슨이 팔로 연주하는 대로 스틱은 그대로 연주됩니다. 그런데 스틱 A에 반응하는, 그러니까 사람의 실제 연주에 반응하는 스틱 B의 연주가 음악적으로 아주 훌륭합니다. 이는 메이슨 자신이 드러머이기 때문에 가능한 것으로 보입니다. 사전에 프로그래밍된 연주를 하는 것이 아니라 실제로 스틱 A의 연주에 따라 리듬을 인지하고 그에 적합한 즉흥 연주를 하는 것이라면, 리듬을 인지하는 인공지능은 상당한 수준에 도달한 것으로 보입니다.
아래 영상은 실제로 이와 같은 로봇 팔이 필요한 연주자가 이 로봇 팔을 착용하고 연주를 하는 영상입니다. 앞부분은 기술에 관한 설명으로 실제 연주를 보고 싶으신 분은 8분 10초 부근부터 보시면 됩니다.
로봇 팔에 적응 중인 사람 연주자
인터뷰 내용을 보면 사람 연주자가 새로운 로봇 팔에 적응하기 위해서 노력 중이라는 얘기가 있습니다. 아직까지는 로봇이 사람에게 적응하는 것 보다 사람이 로봇에 적응하는 것이 빠르기 때문일 것입니다. 이 로봇 팔에 적응 중인 드러머는 적응하는 어렵지만 새로운 것을 익히는 것이 재미있고 적응하는 과정을 즐기고 있다고 얘기합니다. 연주자로서 완전히 새로운 가능성을 보고 있는 것입니다. 그런가하면 연구진은 이렇게 얘기합니다. 이 로봇팔로 연주되는 음악은 완전히 사람의 것도 아니고 완전히 로봇의 것도 아닌 새로운 어떤 것이 될 것이라고 말입니다.
인간 연주자에게 완전히 새로운 가능성을 열다
이러한 설명과 함께 연주 영상을 보면 앞으로 연주의 세계가 로봇의 하드웨어와 인공지능에 발달에 따라 지금까지의 인간 연주자의 한계를 뛰어넘어 새로운 세계로 진입할 가능성이 엿보입니다. 이 로봇 팔은 핸디캡을 가진 인간을 배려하기 위해 개발되었지만 평범한 신체조건을 가진 연주자에게도 완전히 새로운 가능성을 열어주는 장치이기 때문입니다. 게다가 이것은 완전히 사람의 것도 완전히 로봇의 것도 아닌 완전히 새로운 화학반응을 일으키는 음악이 될 것입니다. 연주자가 이 로봇 팔의 사용법을 숙지하면 숙지할 수록 지금까지 우리가 들어왔던 드러밍과는 또 다른 패턴의 드러밍을 듣게 되는 날이 머지 않은 미래에 올 것으로 생각됩니다.
지금까지 블로그를 통해 소개드렸던 컴퓨터 예술은 인공지능 측면에서의 접근이 대부분이었습니다. 그러니까 물리적인 모습을 갖춘 형태의 로봇이라기보다는 알고리즘 차원의 소프트웨어였습니다. 그런데 오늘 소개드릴 이 지-머신(Z-Machines)은 완전한 물리적 형태를 갖춘, 그래서 무대에서의 공연이 가능한, 그래서 언젠가는 연예인이 될지도 모를, 아니 될 것만 같은 로봇 아티스트 "Z-Machines" 입니다.
아래 영상을 보시면 지-머신이 만들어 지는 과정을 알 수 있습니다. 앞 부분은 메이킹 스토리 입니다. 실제 연주는 4분 40초 부근부터 입니다.
78개의 손가락과 22개의 피크로 연주하는 로봇 기타리스트
기타리스트 마치(March)는 78개의 손가락과 12개의 피크를 갖고 있고 BPM 1000에서 연주가 가능하다고 합니다. 연주 괴물인 것입니다. 사람의 경우 BPM 130~150정도면 굉장히 빠른 속도입니다. 그런데 BPM 1000이라니요. 지금은 많이 시들해졌습니다만 한참 락이 위세를 떨치던 70~80년대에는 기타리스트 사이에서 속주가 아주 큰 이슈이기도 했습니다. 물론 재즈가 처음 탄생하던 당시에도 재즈 연주자들 사이에 속주 경쟁이 있었습니다. 속주는 당연히 음악의 여러 요소 중 하나에 불과하지만, 인간은 이제 속주 면에서 로봇을 이길 수 없게 됐습니다.
로봇 기타리스트의 속주와 정확성
위 영상의 1분 45초 부분을 보면 기타의 넥 위로 수십개의 손가락이 정렬해 있습니다. 핑거링이라고 하는 주법을 연주하기 위한 장치입니다. 놀라운 것은 로봇이기 때문에 속도에 제한이 거의 없다는 것입니다. 사람으로서는 따라갈 수 없는 속도를 보여줍니다. 게다가 미스터치라는 것은 있을 수도 없는 일입니다. 정확성과 속도가 담보된 연주입니다. 이 처럼 기계적인, 한치의 오차도 없는 연주가 과연 좋은것이냐? 감성적으로 오히려 인간적이지 않은 것 아니냐 하는 질문을 해 볼 수 있습니다.
맞습니다. 그렇기도 합니다. 그런데 인간 연주자들이 스튜디오에서 녹음을 할 때를 떠올려 보겠습니다. 이 때 사람 연주자들은 이왕이면 음정과 박자가 가급적 정확한 연주를 하기 위해 수 십차례 재 연주를 하기도 합니다. 물론 감정도 좋은 연주를 해야 하겠지만 가장 기본이라고 할 수 있는 음정과 박자에 신경 쓰는 것은 사람도 마찬가라는 얘기 입니다. 만일 너무 정확한 것이 문제라면 오히려 기계의 정확성을 95% 정도로 낮춘다면 인간이 느끼기에 인간적이면서도 정확한 연주가 될 지도 모를 일입니다.
위 영상에서 1분 58초 부근에 핑거링 테스트 장면이 나옵니다. 어마어마한 속도입니다. 처음에는 너무 빨라서 거의 하나의 음으로 들립니다만, 속도를 늦추어 갈수록 이것이 8개의 음을 연주하고 있었다는 것을 알게 됩니다. 최고 속도는 8ms였습니다.
22개의 스틱으로 사람보다 4배 빠르게 연주하는 드러머
드러머 아슈라(Ashura)는 22개의 드럼스틱으로 사람보다 4배 빠르게 연주할 수 있습니다. 위 영상에서 1분 55초 부근에 드럼치는 로봇이 나옵니다. 사람은 두 개의 다리와 두 개의 팔로 칩니다만, 로봇은 사실 그럴 필요가 없습니다. 필요하다면 다리 열개, 손 스무개라도 사용할 수 있으니까요. 인간의 한계를 단숨에 뛰어 넘을 수 있다는 것을 보여줍니다. 물론 아직 터치의 감각이 세밀하지 못해 다이나믹의 표현이 부족하고 너무 균일한 세기의 음을 연주하는 것은 아쉬운 부분입니다.
동경대 엔지니어와 뮤지션의 합작품
이 프로젝트는 동경대 엔지니어 켄지로 마츠오(Kenjiro Matsuo)와 스퀘어푸셔(Squarepusher) 라는 이름으로 활동 중인 젠킨슨(Jenkinson)이라는 뮤지션의 합작품입니다. 그 외에도 로봇 디자인, 전자 장치 제어 등의 분야에서 전문 인력들이 참여 하였습니다.
Squarepusher & Z-Machine
-Composed & Produced by Squarepusher
-Producer : Kenjiro Matsuo
-Assistant Producer : Masayuki Noda
-Music Producer : Kenjiro Matsuo
-Robot Design : Naofumi Yonetsuka
-Musical Instrument Design : Kimura & Tatsuo Hayashi
-Electronic Devices and Control System : Kanta Horio
동경대 엔지니어인 켄지로 마츠오(Kenjiro Matsuo)는 이 로봇 밴드가 300키로와트의 전력을 사용하며 스위치가 달린 파워보드를 사기만 하면 누구라도 집에서 이 로봇을 만들수 있다고 얘기합니다.
이 프로젝트에서 음악을 담당한 젠킨슨은 아래의 영상에서 이렇게 얘기 합니다.
"음악을 만들기위해 악기를 연주하는 로봇을 사용하는 것이 나를 사로잡았다. 사람들은 대부분 음악이라는 것은 사람의 손에 의해서 만들어지는 감정적인 것으로 생각한다. 그러나 나는 여기에 동의하지 않는다. 그리고 이 사람들이 틀렸다는 것을 증명하고 싶다. 이 프로젝트는 이러한 생각에 대해 탐험해 보는 아주 훌륭한 방편이다."
앨범 발표
Z-Machines은 2013년에 동경에서 있었던 "Future Party"에서 데뷔했습니다. 이 공연은 맥주회사의 스폰서 참여로 진행됐는데, 관객들이 맥주병을 머리위로 들면 로봇 밴드가 이에 반응하여 연주 속도를 더 빨리 했다고 합니다.
2013년에는 "Sad Robot Goes Funny"라는 앨범을 내기도 했습니다. 강렬한 외모 만큼이나 강렬한 사운드를 기대할 수도 있습니다만 사운드는 의외로 부드럽습니다. 아마 이것은 사람들의 기대를 깨뜨리기위한 반전 전략인 것 같습니다. 사실은 저도 굉장히 강렬한 사운드를 기대했는데 부드러운 사운드가 나와서 좀 의외이긴 했습니다. 제 개인적으로는 정말 하드한 사운드였다면 더 좋지 않았을까 하는 아쉬움이 남습니다.
로봇이 연주하는 음악에서 감정을 느낄 수 있을지, 이런 음악에서 사람들이 위안을 받고 기뻐할 수 있을지에 대한 논란은 앞으로 한 동안 계속될 것 같습니다. 이것은 누가 그렇다 아니다 주장할 수 있는 성격의 것은 아닙니다. 사람이 만든 예술이라고 하더라도 감상하는 사람의 취향에 따라 선호가 결정되기도 하니까요. 위의 영상들을 보신 분들 사이에서도 각자의 감성에 따라 의견이 갈릴 것입니다. 로봇 연주자의 연주가 이제 막 시작단계라는 점을 생각하면 앞으로 로봇 연주자의 실력의 향상 여부에 따라 이 부분에 대한 평가는 상당히 자주 업데이트 될 것 입니다.
음악 창작의 새로운 가능성
이 로봇이 연주한 음악은 사람이 만든 것입니다. 사람이 로봇이 연주할 것을 가정하고 작곡한 것이죠. 그런 의미에서 앞에서 포스팅했던 인공지능 작곡 프로그램들과는 정 반대의 특징을 보여줍니다. 그 프로그램들은 컴퓨터가 사람이 연주할 것을 가정하고 작곡했으니까요. 그래서 아야무스(Iamus)같은 경우 작곡 규칙에 대한 제약을 거의 두지 않으면서도 사람의 손가락이 다섯 개여서 한 번에 그 이상의 음을 사용하지 않도록 하는 제약을 두었습니다. 그런데 이번 Z-Machines의 경우 78개의 손가락과 22개의 피크를 사용하는 로봇 연주자가 연주할 것을 가정하고 작곡하다 보니 오히려 인간 연주자로서는 연주할 수 없는 경우가 생겼습니다. 다시말하면 물리적으로는 인간의 한계를 뛰어 넘은 것도 작곡할 수 있게 된 것입니다. 인간 작곡가가 인간 연주자의 한계로 인해 하지 못했던 음악적 표현의 한계를 로봇 연주자를 통해 극복할 수 있게 된 것입니다. 물론 세밀하고 다양한 감정 표현에 있어서는 인간 연주자들이 압도적으로 우세하지만 말입니다.
인간과 로봇의 창작 매트릭스
앞으로는 상당히 복잡하게 되었습니다. 경우의 수가 점점 많아 지고 있습니다. 인간 연주자, 인간 작곡가, 로봇 작곡가, 로봇 연주자. 이제 우리는 인간과 로봇이라는 매트릭스를 갖게 되었습니다. 로봇 작곡가가 사람 연주자를 위한 곡을 쓰고, 사람 작곡가가 로봇 연주자를 위한 곡을 쓰는 일은 이미 발생했습니다. 머지 않은 미래에 로봇 작곡가가 로봇 연주자를 위한 곡을 쓰는 날도 올 것으로 보입니다.
그동안 스스로 작곡하는 인공지능에 대해 몇 차례 소개드렸습니다. 데이비드 코프가 개발한 에밀리 호웰, 도냐 퀵이 개발한 쿨리타, 프란시스코 비코가 개발한 아야무스 등 입니다. 이들 셋의 공통점은 이들이 악보로 출력되는, 그러니까 음악적으로 연주될 모든 음을 확정하여 오선지 위에 그려낸다는 점입니다. 그야말로 전통적 의미에서의 작곡입니다. 이들이 그려낸 음은 연주자에 따라 표현상의 미묘한 차이를 보일 수는 있겠지만, 악보위에 인쇄된 절대 텍스트를 갖게 됩니다.
그런데 오늘 소개드릴 인공지능은 즉흥연주, 그러니까 jam 을 하는 인공지능입니다. 이것은 앞의 세 가지 사례와는 확연히 다른 형태의 인공지능입니다. 에밀리 호웰과 쿨리타가 주어진 텍스트를 학습하고 그 텍스트를 모방하는 형태, 아야무스가 주어진 테마를 무작위로 발전시키는 형태로 확정된 음을 출력하는 방식이라면, 이번에 소개드릴 메이슨 브레튼(Mason Bretan)이 개발한 시몬(Shimon)은 인간이 연주하는 음악을 듣고 그에 맞춰 같이 음악을 연주하는, 그러니까 상대의 연주를 인식하고(cognition) 맥락에 맞게 하나의 음악으로 발전시켜나가는(Improvisation) jam을 하는 인공지능입니다.
Mason Bretan 과 Shimi
사람의 연주를 인지/이해하는 인공지능
아이폰에 탑재된 음성 인식 시스템인 시리(Siri)를 떠올려 보시면 좋을 것 같습니다. 시리는 사전에 프로그래밍 되어 있는대로만 반응하는 것이 아니라 사람이 무슨 말을 하는지, 무엇을 원하는지에 대해 스스로 판단하고 그에 반응하는 음성인식 인공지능입니다.
시몬(Shimon)이 바로 이와 유사한 인공지능입니다. 시몬은 사람의 말 대신 음악의 언어라고 할 수 있는 리듬, 멜로디, 화성 등을 인식하는 것입니다. 사람이 어떤 리듬을, 어떤 화성을, 어떤 멜로디를 연주하는가에 따라 그와 잘 어우지는 음악을 연주하는 것이죠.
이런 것을 음악하는 사람들은 jam이라고 부릅니다. 그런데 사실 밴드를 하는 사람들 중에도 jam을 하자고 하면 부담스러워 하거나 어려워 하는 사람들이 상당히 많습니다. 사전에 약속된 플레이가 아니기 때문입니다. 어떤 곡을 합주하자고 약속해서 그 곡에 대해 미리 학습하여 약속된 플레이를 하는 것과는 다르게 상대방이 어떤 연주를 하는지를 듣고 즉각적으로 반응하며 함께 음악을 발전시켜 나간다는 것은 음악을 하는 사람으로서도 쉽지 않은 일이기 때문입니다.
그런데 시몬이 이를 훌륭하게 해내고 있습니다. 영상에서 보여지는 시몬은 리듬, 멜로디, 화성에 대해 제대로 이해하고 반응하면서 사람과 함께 음악을 발전시켜 나갑니다.
영상을 보시면 일단 사람이 드럼을 치기 시작합니다. 이 드럼의 리듬을 들은 시미(Shimi)라는 이름의 로봇은 서서히 반응을 시작합니다. 그런데 반응을 시작하는 모습이 아주 인상적입니다. 일단 사람 연주의 도입부를 듣고 나서는 살짝 맛배기로 음을 몇 개 내보는 식입니다. 처음의 음 몇개는 이것이 리듬을 연주한 것인지 음가가 있는 멜로디를 연주한 것인지도 모를, 그야말로 로보틱한 소리를 냅니다. 그런데 그 뒤로 사람의 연주를 더 들어가며 점점 우리가 "음악"이라고 알고 있는 것과 상당히 유사한 소리를 내기 시작합니다. 패턴이 있는 베이스를 연주하고 리듬도 연주합니다. 1분 40초 부분 부터는 스스로 드럼 파트도 추가해서 연주를 시작하는데, 이때 드럼을 연주하던 연주자는 드럼에서 기타로 옮겨갑니다. 인공지능이 리듬파트를 맡아주니 이제 드럼을 치지 않아도 되는 것이죠. 연주자가 기타를 친 이후로 부터는 샤이미가 기타의 멜로디 라인을 따라하기 시작합니다. 기타와 같은 현악기 연주에서만 들을 수 있는 주법들도 흉내내가며 솔로 라인을 연주합니다. 그 이후로 사람은 기타에서 키보드로 한번더 자리를 옮기고 샤이미는 마림바 연주까지 더하면서 연주를 마칩니다.
정말 사람의 연주를 이해하나?
사실 이 인공지능이 정말 실시간으로 모든것을 인지하면서 즉흥연주를 해나간 것으로는 보이지 않습니다. 즉흥연주를 했다고 하기에는 약속된 플레이를 한 것처럼 보이는 프레이즈들이 상당히 많이 발견되기 때문입니다. 그럼에도 불구하고 즉흥연주를 했다고 인정할 수 있는 증거들도 많이 있습니다. 일단 시작하는 부분이 그렇습니다. 사람과 짧은 프레이즈를 주고 받으며 음악을 진행시켜나가는데, 이 부분에서 일단 사람이 연주하는 리듬의 템포를 인식한 것으로 볼 수 있기 때문입니다. 상당히 불규칙 하게 들릴 수도 있는 인트로 드럼 연주를 들으며 리듬이 진행되는 전체적인 템포를 인지했다는 것 만으로도 상당한 가능성을 시사합니다.
맨 처음에 사람이 연주한 것은 리듬 뿐인데, 스스로 음가가 있는 베이스를 연주하기 시작했다는 점도 궁금한 점 중 하나입니다. 드럼 라인에 알맞은 베이스 리듬은 인식할 수 있겠으나 과연 어떤 음(조)으로 음악을 시작할 것인지, 화성 진행을 어떻게 할 것인지에 대한 정보가 전혀 없는 상태에서 어떻게 그런 음이 담긴 음악을 연주한 것인지에 대한 궁금증은 남습니다. 이를 알기 위해서는 어떤 알고리즘을 갖고 있는지에 알아야하는데, 이에 대해서는 아래에 약간의 힌트가 있습니다.
샤잠의 또 다른 버전
리듬에 대한 인식은 상당한 수준에 와 있는 것 같습니다. 음악을 찾아주는 샤잠이라는 어플리케이션에 대해 모두 아실 텐데요. 이와 비슷한 알고리즘을 개발한 것으로 보입니다. 사람이 어떤 리듬을 손으로 태핑하면, 그와 유사한 리듬을 가진 곡을 찾아주는 방식입니다.
젊은 공학도 Mason Bertan
굉장히 놀라운 사실이 있는데, 저 영상에서 음악을 연주했던 젊은이가 바로 시몬(Shimon)과 시미(Shimi)를 개발한 주인공이라는 점입니다. 메이슨 브레튼(Mason Bretan)이라는 이 젊은 개발자는 현재 조지아텍에서 박사과정중이라고 합니다.
Mason Bertan
첫 번째 영상은 그의 유튜브 채널에 2015년 1월에 올라온 것인데, 본인 스스로 이 영상에 대해 자세한 설명을 첨부했습니다. 기계의 즉흥연주, path planning, 체화된 인식(embodied cognition) 등을 시연하기 위한 영상이라고 소개하면서, 시미(Shimi)라는 작은 로봇은 음악을 분석한 것에 기초해서 어떻게 음악을 진행할 것인가(how to move)를 알아내고(figure out), 시몬은 고난위도의 음악적 변수와 물리적 제약에 있어 최적화된 창작 알고리즘을 사용하여 사전에 주어진 화성 진행에 따라 즉흥연주를 해나간다고 설명합니다.
인공지능 예술의 발전에 대한 긍정적 확신
또 "What you say"라는 제목은 마일스 데이비스의 "What I say"라는 곡에서 영감을 얻었다고 말합니다. 아마도 이 인공지능이 상대의 플레이를 인식하고 그에 반응한다는 것을 강조하기 위한 제목 같습니다. 마일스 데이비스가 말한 것을(What I say) 시몬이 알아듣고(What you say) 그에 반응한다는 의미를 부여한 것 같습니다. 이 젊은 개발자는 마일스 데이비스와 같은 훌륭한 연주자들은 사람에게만 귀감이 되는 것이 아니라 자신이 개발 중인 인공지능 아티스트들이 도달해야할 궁극의 지표라는 설명도 덧붙입니다. 그러면서 인공지능과 신호처리 등의 기술 발달을 통해 결국에는 기계가 예술적이고(artistic), 창의적이고(creative) 염감을 주는(inspirational) 존재가 될 것이라 믿는다고 얘기합니다.
이 설명을 통해 앞에서 궁금했던 부분에 대해 어느 정도 답을 찾을 수 있었습니다. 그리고 이 젊은 개발자가 가진 아이디어를 응원하게 되었구요. 컴퓨터 공학으로 박사과정에 있는 공학도가 음악에도 상당한 재능을 보인다는 점도 아주 아주 인상적입니다. 드럼, 기타, 피아노 등 다양한 악기를 다룬다는 점도 인상적이지만 각 악기마다 일정 수준 이상의 연주를 하는 점도 매우 인상적입니다. 아마 음악을 즉흥연주하는 인공지능을 개발할 수 있었던 것은 이 젊은 공학도가 가진 특별한 능력 때문일 가능성이 높아 보입니다. 영상을 보면 이 사람은 공학에 대한 이해 뿐만이 아니라 음악에 대해서도 상당한 이해를 하고 있는 사람이 분명하고, 좀 더 높은 음악적 성취를 공학적인 방법으로 이뤄내고자 하는, 공학적인 방법론으로 음악을 해석하고자 하는 시도를 하고 있는 것으로 보이기 때문입니다.
음악과 컴퓨터 공학을 결합시키고 있는 일군의 사람들에 대해서는 다음 포스팅에서 다뤄 보도록 하겠습니다.
이 블로그를 통해서 인공지능의 창작 가능성에 대해 포스팅하고 있는데요. 그러다보니 주로 사람의 역할을 대신할, 또는 대체할 가능성이 엿보이는 관점에서 글을 쓰게 됩니다. 그러나 세상에는 역시 다양한 관점을 가진 사람들이 더불어 살아가기 마련이죠.
그런 의미에서 오늘은 컴퓨터 프로그래머이자 아티스트로도 볼 수 있는 Ge Wang의 영상을 소개드리고자 합니다.
Ge Wang 은 스탠포드 대학교의 음악과 음향에 관한 컴퓨터 연구실(Stanford's Center for Computer Research in Music and Acoustics) 소속의 어시스턴트 교수라고 합니다. 컴퓨터 음악, 모바일 음악, 소셜 음악, 랩탑 오케스트라에 관련된 인터랙티브 소프트웨어 디자인과 프로그래밍 언어가 주요 연구분야이구요, 컴퓨터 사이언스와 음악이 겹치는 부분에 대한 교육에도 관심이 있다고 합니다. ChucK 오디오 프로그래밍 랭귀지의 저자이자 스탠포트 랩탑 오케스트라(SLOrk)와 스탠포드 모바일폰 오케스트라(MoPhO)의 설립자이자 디렉터이기도 합니다. 또 Smule(소셜 음악 앱을 만드는 회사, 현재 1억명 이상의 사용자가 있음)의 공동 창업자이자 iPhone의 오카리나와 매직피아노를 만들기도 했습니다.
사람 자체가 워낙 다이나믹하고 릴랙스하고 유머러스하고 지니어스해서 참으로 매력적입니다. 게다가 갑빠도 잘 다듬어져 있구요. 엄친아+님좀짱+귀요미+뇌섹남 스타일 입니다. 컴퓨터 사이언스하면 왠지 골방에 쳐박혀 혼자서 끙끙대고 연구할 것 같은 이미지인데, 정 반대로 자신이 연구하는 분야를 통해 세상의 많은 사람들을 연결시키고 그것을 통해 공감의 가치를 만들어 냈습니다.
Ge Wang = 엄친아+님좀짱+귀요미+뇌섹남
사실 이 분이 사용하는 용어 자체가 모두 처음 접하는 개념입니다. 물론 모두 다 이분이 고안해 냈기 때문이겠지만요. 랩탑 오케스트라, 모바일폰 오케스트라. 참 재미집니다. 그리고 이 모든걸 아우를 수 있는 소셜뮤직이라는 개념도 제시하구요.
영상이 좀 길긴 하지만, 여러가지 다양하고 재밌는 화면을 많이 볼 수 있으니까 꼭 끝까지 한번 보시기 바랍니다.
영상의 맨 마지막 부분에서 멋진 멘트를 아무렇지도 않게 내뱉으시고 담담히 퇴장하시네요.
"지금 여러분이 들은 것이 컴퓨터 음악일까요? 네 맞습니다. 컴퓨터가 없었다면 할 수 없는 음악이었으니까요. 그러나 동시에 인간이 만든 것이기도 합니다. 제가 왜 이런것을 하고 있는지에 대해 생각하게 됩니다. 그리고 여기서 다시 맨 처음 질문으로 돌아가게 됩니다. 컴퓨터 음악이라는 것이 도대체 무엇일까요? 제게 있어서 컴퓨터 음악이라는 것은 사실 컴퓨터하고는 크게 상관이 없습니다. 오히려 사람에 관한 것입니다. 어떻게 기술을 이용할 것인가 하는 문제죠. 우리가 생각하는 방법을 바꿔서 결국 음악을 만드는데 도움을 받기 위해서 기술을 이용하는 것이겠죠. 또한 음악과 기술을 이용해서 사람들을 서로 연결하기 위함이기도 하구요. 이것이 제가 생각하는 컴퓨터 음악입니다."
오늘은 여러분께 작곡하는 인공지능에 대해서 소개해 드리려고 합니다. 스페인의 말라가 대학교의 컴퓨터 사이언스 교수인 프란시스코 비코(Francisco Vico)와 그의 연구진과 함께 개발한 아야무스(Iamus) 라는 인공지능 소프테웨어입니다. 이 소프트웨어는 인간의 개입 없이 곡을 처음부터 끝까지 완성하고 악보까지 출력할 수 있습니다. 일단 편견이 생길 수도 있으니 아야무스가 작곡한 곡을 먼저 감상해 보시기 바랍니다. (1분 30초 부분 부터 보시면 됩니다.)
<Iamus - Hello World!>
20세기 초반 풍의 클래식 음악 작곡
어떤 생각이 드시는지요? 이 곡은 'Hello World'라는 곡으로 아야무스가 인간의 도움 없이 만든 첫 번째 곡인데요. 제 귀에는 상당히 클래식하게 들립니다. 활동중인 젊은 클래식 연주자들에 의해 연주되어서 그런지 더더욱 그렇게 느껴집니다. 시대별 음악의 특징으로 구분하자면 아마도 1900년대 이후의 현대 음악에 가장 가까울 것으로 생각됩니다.
제 귀에만 그렇게 들리는 건 아닌가 봅니다. 이 곡을 사람들이 듣고 어떻게 생각할지를 알아보기 위해서 블라인드 테스트를 진행했는데요. 피터 러셀이라는 음악학자는 이 곡을 듣고 이렇게 말했다고 합니다.
"듣기 좋은 실내악 음악이군요. 어딘가 20세기 초반의 프랑스 음악을 닮아있기도 하구요. 몇 번 반복해서 듣고 난 다음에는 이 곡을 좋아하게 됐습니다."
결국 러셀을 포함해서 블라인드 테스트에 참가했던 사람들은 이 곡의 작곡가가 컴퓨터라는 것을 알아 내지 못했습니다. 사실 이것은 어쩌면 당연한 일인지도 모릅니다. 클래식에서 말하는 현대음악의 경우 조성, 리듬, 멜로디 진행이 사람들이 일반적으로 "음악"이라고 생각하는 기준에서 벗어나 있는 경우가 많습니다. 이런 곡을 들을 때면 아무래도 공감대를 형성하기도 쉽지 않고 이게 정말 음악적인건가, 하는 생각을 하게 될 때도 있습니다. 아야무스가 만든 이 곡 역시 그와 같은 현대 음악의 기준에서 듣는다면 사실 그 누구라도 이 곡의 작곡가가 사람이 아닐 것이라고 짐작하기 어려울 것입니다. 게다가 훌륭한 연주자들이 감정을 실어서 연주하기까지 했으니 더더욱 어려웠을 것입니다.
런던심포니오케스라의 연주
아야무스의 출현에 대해서 사람들은 어떻게 생각할까요? 특히 연주를 하거나 작곡을 하는 음악가들은 아야무스에 대해서 어떻게 생각할까요? 사람 음악가들이 아야무스에 대해 무시하거나 인정하지 않을 것으로 생각할 수도 있습니다만, 이미 아야무스는 일군의 음악가들에 의해 받아들여지고 있습니다. 세계 최고 수준의 음악 그룹이라고 할 수 있는 런던 심포니 오케스트라가 아야무스의 곡을 연주했으니까요. 뮤지카델빠스바스코(Música del País Vasco)에서 작곡가이자 피아노 연주자로 활동하고 있는 구스타보 디아즈 제레즈(Gustavo Diaz-Jerez)는 아야무스를 이용해서 오페라까지 작곡할 예정이라고 합니다. 정식으로 클래식 음악교육을 받은 사람이 인공지능 소프트웨어를 이용해 오페라를 작곡할 생각이라니, 어떤 의도를 가지고 있는 것인지 궁금해 집니다. (Centro Superior de Música del País Vasco는 대학교 수준의 음악 교육 기관으로 보입니다. 홈페이지에 가보니 학사학위와 석사학위 교육과정을 둔 음악 대학교로 보입니다.)
<Iamus - Adsum, for orchestra>
런던 심포니의 연주, 어떻게 들으셨는지요? 곡이 좋아서 그런 것인지 연주가 좋아서 그런 것인지 모르겠습니다만 듣고 있으면 끝까지 계속 듣게 되는 묘한 매력이 있습니다.
사실 아야무스 전에도, 그리고 후에도 인공지능으로 작곡을 하려고 하는 시도는 있어 왔습니다. 미국의 작곡가이자 컴퓨터 사이언스 교수인 데이비드 코프 역시 "Emily Howell"이라고 이름 붙여진 인공지능 작곡 프로그램을 개발했습니다. 아주 최근에는 예일대학교의 컴퓨터 사이언스 박사 과정 생 도냐 퀵이 "Kulitta"라는 인공지능 작곡 프로그램을 개발하기도 했구요. 아마 에밀리 호웰이나 쿨리타의 음악을 들어보신 분들 중에는 인공지능의 작곡에 대해 실망하거나 회의적인 시각을 가진 분들이 많으실텐데요. 아야무스를 통해서 그런 생각이 조금은 바뀔수도 있을 것으로 생각됩니다. 아야무스에 대해서는 계속 포스팅 하겠습니다.
자료 : http://www.bbc.com/future/story/20140808-music-like-never-heard-before
