[컴퓨터 예술] 즉흥연주하는 인공지능 Shimon

작곡과는 다른 지능, 즉흥연주

그동안 스스로 작곡하는 인공지능에 대해 몇 차례 소개드렸습니다. 데이비드 코프가 개발한 에밀리 호웰, 도냐 퀵이 개발한 쿨리타, 프란시스코 비코가 개발한 아야무스 등 입니다. 이들 셋의 공통점은 이들이 악보로 출력되는, 그러니까 음악적으로 연주될 모든 음을 확정하여 오선지 위에 그려낸다는 점입니다. 그야말로 전통적 의미에서의 작곡입니다. 이들이 그려낸 음은 연주자에 따라 표현상의 미묘한 차이를 보일 수는 있겠지만, 악보위에 인쇄된 절대 텍스트를 갖게 됩니다.

그런데 오늘 소개드릴 인공지능은 즉흥연주, 그러니까 jam 을 하는 인공지능입니다. 이것은 앞의 세 가지 사례와는 확연히 다른 형태의 인공지능입니다. 에밀리 호웰과 쿨리타가 주어진 텍스트를 학습하고 그 텍스트를 모방하는 형태, 아야무스가 주어진 테마를 무작위로 발전시키는 형태로 확정된 음을 출력하는 방식이라면, 이번에 소개드릴 메이슨 브레튼(Mason Bretan)이 개발한 시몬(Shimon)은 인간이 연주하는 음악을 듣고 그에 맞춰 같이 음악을 연주하는, 그러니까 상대의 연주를 인식하고(cognition) 맥락에 맞게 하나의 음악으로 발전시켜나가는(Improvisation) jam을 하는 인공지능입니다.

Mason Bretan 과 Shimi

사람의 연주를 인지/이해하는 인공지능

아이폰에 탑재된 음성 인식 시스템인 시리(Siri)를 떠올려 보시면 좋을 것 같습니다. 시리는 사전에 프로그래밍 되어 있는대로만 반응하는 것이 아니라 사람이 무슨 말을 하는지, 무엇을 원하는지에 대해 스스로 판단하고 그에 반응하는 음성인식 인공지능입니다.

시몬(Shimon)이 바로 이와 유사한 인공지능입니다. 시몬은 사람의 말 대신 음악의 언어라고 할 수 있는 리듬, 멜로디, 화성 등을 인식하는 것입니다. 사람이 어떤 리듬을, 어떤 화성을, 어떤 멜로디를 연주하는가에 따라 그와 잘 어우지는 음악을 연주하는 것이죠.

이런 것을 음악하는 사람들은 jam이라고 부릅니다. 그런데 사실 밴드를 하는 사람들 중에도 jam을 하자고 하면 부담스러워 하거나 어려워 하는 사람들이 상당히 많습니다. 사전에 약속된 플레이가 아니기 때문입니다. 어떤 곡을 합주하자고 약속해서 그 곡에 대해 미리 학습하여 약속된 플레이를 하는 것과는 다르게 상대방이 어떤 연주를 하는지를 듣고 즉각적으로 반응하며 함께 음악을 발전시켜 나간다는 것은 음악을 하는 사람으로서도 쉽지 않은 일이기 때문입니다.

그런데 시몬이 이를 훌륭하게 해내고 있습니다. 영상에서 보여지는 시몬은 리듬, 멜로디, 화성에 대해 제대로 이해하고 반응하면서 사람과 함께 음악을 발전시켜 나갑니다.

영상을 보시면 일단 사람이 드럼을 치기 시작합니다. 이 드럼의 리듬을 들은 시미(Shimi)라는 이름의 로봇은 서서히 반응을 시작합니다. 그런데 반응을 시작하는 모습이 아주 인상적입니다. 일단 사람 연주의 도입부를 듣고 나서는 살짝 맛배기로 음을 몇 개 내보는 식입니다. 처음의 음 몇개는 이것이 리듬을 연주한 것인지 음가가 있는 멜로디를 연주한 것인지도 모를, 그야말로 로보틱한 소리를 냅니다. 그런데 그 뒤로 사람의 연주를 더 들어가며 점점 우리가 "음악"이라고 알고 있는 것과 상당히 유사한 소리를 내기 시작합니다. 패턴이 있는 베이스를 연주하고 리듬도 연주합니다. 1분 40초 부분 부터는 스스로 드럼 파트도 추가해서 연주를 시작하는데, 이때 드럼을 연주하던 연주자는 드럼에서 기타로 옮겨갑니다. 인공지능이 리듬파트를 맡아주니 이제 드럼을 치지 않아도 되는 것이죠. 연주자가 기타를 친 이후로 부터는 샤이미가 기타의 멜로디 라인을 따라하기 시작합니다. 기타와 같은 현악기 연주에서만 들을 수 있는 주법들도 흉내내가며 솔로 라인을 연주합니다. 그 이후로 사람은 기타에서 키보드로 한번더 자리를 옮기고 샤이미는 마림바 연주까지 더하면서 연주를 마칩니다.

정말 사람의 연주를 이해하나?

사실 이 인공지능이 정말 실시간으로 모든것을 인지하면서 즉흥연주를 해나간 것으로는 보이지 않습니다. 즉흥연주를 했다고 하기에는 약속된 플레이를 한 것처럼 보이는 프레이즈들이 상당히 많이 발견되기 때문입니다. 그럼에도 불구하고 즉흥연주를 했다고 인정할 수 있는 증거들도 많이 있습니다. 일단 시작하는 부분이 그렇습니다. 사람과 짧은 프레이즈를 주고 받으며 음악을 진행시켜나가는데, 이 부분에서 일단 사람이 연주하는 리듬의 템포를 인식한 것으로 볼 수 있기 때문입니다. 상당히 불규칙 하게 들릴 수도 있는 인트로 드럼 연주를 들으며 리듬이 진행되는 전체적인 템포를 인지했다는 것 만으로도 상당한 가능성을 시사합니다.

맨 처음에 사람이 연주한 것은 리듬 뿐인데, 스스로 음가가 있는 베이스를 연주하기 시작했다는 점도 궁금한 점 중 하나입니다. 드럼 라인에 알맞은 베이스 리듬은 인식할 수 있겠으나 과연 어떤 음(조)으로 음악을 시작할 것인지, 화성 진행을 어떻게 할 것인지에 대한 정보가 전혀 없는 상태에서 어떻게 그런 음이 담긴 음악을 연주한 것인지에 대한 궁금증은 남습니다. 이를 알기 위해서는 어떤 알고리즘을 갖고 있는지에 알아야하는데, 이에 대해서는 아래에 약간의 힌트가 있습니다.

샤잠의 또 다른 버전

리듬에 대한 인식은 상당한 수준에 와 있는 것 같습니다. 음악을 찾아주는 샤잠이라는 어플리케이션에 대해 모두 아실 텐데요. 이와 비슷한 알고리즘을 개발한 것으로 보입니다. 사람이 어떤 리듬을 손으로 태핑하면, 그와 유사한 리듬을 가진 곡을 찾아주는 방식입니다.

젊은 공학도 Mason Bertan

굉장히 놀라운 사실이 있는데, 저 영상에서 음악을 연주했던 젊은이가 바로 시몬(Shimon)과 시미(Shimi)를 개발한 주인공이라는 점입니다. 메이슨 브레튼(Mason Bretan)이라는 이 젊은 개발자는 현재 조지아텍에서 박사과정중이라고 합니다.

Mason Bertan

첫 번째 영상은 그의 유튜브 채널에 2015년 1월에 올라온 것인데, 본인 스스로 이 영상에 대해 자세한 설명을 첨부했습니다. 기계의 즉흥연주, path planning, 체화된 인식(embodied cognition) 등을 시연하기 위한 영상이라고 소개하면서, 시미(Shimi)라는 작은 로봇은 음악을 분석한 것에 기초해서 어떻게 음악을 진행할 것인가(how to move)를 알아내고(figure out), 시몬은 고난위도의 음악적 변수와 물리적 제약에 있어 최적화된 창작 알고리즘을 사용하여 사전에 주어진 화성 진행에 따라 즉흥연주를 해나간다고 설명합니다.

인공지능 예술의 발전에 대한 긍정적 확신

또 "What you say"라는 제목은 마일스 데이비스의 "What I say"라는 곡에서 영감을 얻었다고 말합니다. 아마도 이 인공지능이 상대의 플레이를 인식하고 그에 반응한다는 것을 강조하기 위한 제목 같습니다. 마일스 데이비스가 말한 것을(What I say) 시몬이 알아듣고(What you say) 그에 반응한다는 의미를 부여한 것 같습니다. 이 젊은 개발자는 마일스 데이비스와 같은 훌륭한 연주자들은 사람에게만 귀감이 되는 것이 아니라 자신이 개발 중인 인공지능 아티스트들이 도달해야할 궁극의 지표라는 설명도 덧붙입니다. 그러면서 인공지능과 신호처리 등의 기술 발달을 통해 결국에는 기계가 예술적이고(artistic), 창의적이고(creative) 염감을 주는(inspirational) 존재가 될 것이라 믿는다고 얘기합니다.

이 설명을 통해 앞에서 궁금했던 부분에 대해 어느 정도 답을 찾을 수 있었습니다. 그리고 이 젊은 개발자가 가진 아이디어를 응원하게 되었구요. 컴퓨터 공학으로 박사과정에 있는 공학도가 음악에도 상당한 재능을 보인다는 점도 아주 아주 인상적입니다. 드럼, 기타, 피아노 등 다양한 악기를 다룬다는 점도 인상적이지만 각 악기마다 일정 수준 이상의 연주를 하는 점도 매우 인상적입니다. 아마 음악을 즉흥연주하는 인공지능을 개발할 수 있었던 것은 이 젊은 공학도가 가진 특별한 능력 때문일 가능성이 높아 보입니다. 영상을 보면 이 사람은 공학에 대한 이해 뿐만이 아니라 음악에 대해서도 상당한 이해를 하고 있는 사람이 분명하고, 좀 더 높은 음악적 성취를 공학적인 방법으로 이뤄내고자 하는, 공학적인 방법론으로 음악을 해석하고자 하는 시도를 하고 있는 것으로 보이기 때문입니다.

음악과 컴퓨터 공학을 결합시키고 있는 일군의 사람들에 대해서는 다음 포스팅에서 다뤄 보도록 하겠습니다.


**자료
- 메이슨 브레튼(Mason Bretan) 홈페이지 보기
- 조지아텍 센터 포 뮤직 테크놀러지 보기
- 워싱턴 포스트 관련 기사 보기


**관련 글도 함께 보세요**
- 작곡하는 인공지능 아야무스(Iamus) 보기
- 작곡하는 인공지는 쿨리타(Kulitta) 보기