[컴퓨터 예술]연주자의 시선을 따라 연주하는 제3의 로봇 팔

지난 번 소개드렸던 제이슨 브레튼(Jason Bretan)이 속한 조지아텍 음악기술연구실(Georgia Tech Center for Music Technology)에 올라온 영상입니다.

지난 번 소개드렸던 로봇 팔은 사람의 연주를 들으며 그 연주 내용에 따라 즉흥적인 연주를 할 수 있도록 고안된 장치였는데요. 이번에 소개된 영상에서는 연주자의 시선이 머무는 곳에 있는 북을 연주하도록 고안된 로봇 팔을 보실 수 있습니다.

인간의 신체는 두 개의 팔을 갖도록 디자인 되어 있기 때문에 악기의 연주법 또한 그에 기초해 발전되어 왔는데요. 이제 인간 신체의 확장에 따른 새로운 연주법이 연구되어야 할 시점인 것 같습니다.

[예술과 과학] 수학의 파이(Pi)로 작곡한 음악

3.14159265358979............... 아시죠? 파이. 바로 이 파이의 소수점 숫자들을 기억하기 위해서 작곡한 곡이라고 합니다. 이걸 왜 외워야 했을까요?

아무튼 이 곡을 쓴 사람은 숫자를 기억하는 것 보다는 음악을 기억하는게 더 쉬워서 이런 방법을 택했다고 하네요. 음악을 생각하면 멜로디가 기억되기 때문에 그 멜로디들을 통해서 파이의 소수점 숫자들을 떠올릴 수 있다고 합니다.

작곡한 방법을 보면, 음계는 A단조 음계를 썼습니다. 원래 음계는 라 시 도 레 미 파 솔# 라 이렇게 8개의 음으로 구성되는데요. 이에 비해 숫자는 0부터 9까지 모두 10개의 숫자가 나옵니다. 그래서 시작하는 라 밑으로 솔# 을 하나 추가 하고 끝나는 라음 위로 시 를 하나 추가해서 모두 10개음을 만들고 각 음들을 숫자 하나하나와 매칭 시켰습니다.

영상을 보다 보면 파이의 소수점 숫자 10억개를 12폰트로 쓰면 뉴욕시티에서 캔사스까지 간다고 설명하네요. 미쳤나봐요. ㅋㅋ 근데 다행히 이 분은 캔사스 가기전에 적당한 시점에서 곡을 마무리 합니다. 제 생각엔 지하철로 세 정거장 정도 가서 끝난 거 같습니다. ㅋㅋ

멜로디 흐름에 따라 박자를 조금 다양하게 해서 좀 더 멜로딕 한 느낌을 줬어도 좋았을 텐데 이 분은 모두 4분 음표로 처음부터 끝까지 아주 일관되게 밀고 나가셨네요. 대박입니다.

어쨌든 참으로 참신하고 상큼 발랄한 아이디어 입니다. 그럼 감상해 보세요^^

[컴퓨터 예술] 작곡하는 인공지능 아야무스(Iamus)의 작동 원리

작곡하는 인공지능 컴퓨터 클러스터

앞 포스팅에서 아야무스(Iamus)가 작곡하는 인공지능 소프트웨어라는 것과 이 소프트웨어가 작곡한 곡이 런던심포니에 의해서 연주되었다는 것을 살펴봤는데요. 이번 포스팅에서는 아야무스가 과연 어떤 원리로 작동되는 지에 대해 좀 더 알아보도록 하겠습니다.

본론으로 들어가기 전에 아야무스의 생김새를 한 번 보고 가겠습니다. 아야무스가 소프트웨어라서 PC나 MAC에서 돌아가는 프로그램인줄 알았는데 저의 착각이었습니다. 아야무스는 컴퓨터 클러스터라고 합니다. 그림에서 보시는대로 맞춤제작된 케이스가 씌워져 있습니다. 무대 위 피아노 옆에 놓인 사진도 있는데 생각보다 상당히 덩치가 있습니다.

아야무스 컴퓨터 클러스터 (자료 : https://en.wikipedia.org/wiki/Iamus_(computer)

아래 영상은 아야무스를 소개하는 뉴스 영상인데요, 전문가들조차 사람의 작품이라고 착각할 정도의 클래식 음악을 작곡하는 컴퓨터 프로그램이라고 소개합니다. 영상 말미에서 아야무스 개발을 이끈 프란시스코 비코(Francisco Vico) 교수는 아야무스는 음악적 언어를 마스터한 최초의 컴퓨터이고, 아야무스만의 오리지널한 클래식 현대 음악을 작곡할 수 있다고 얘기합니다. 뿐만아니라 사람들이 아야무스가 만든 곡을 다양하게 해석(연주)할 수는 있겠지만 그렇다고 아야무스가 만든 원곡이 변형되는 것은 아니라고 덧붙입니다. 아야무스의 원곡은 악보에 인쇄된 그대로 오리지널리티를 갖는다는 얘기입니다. 굉장한 자신감입니다. 영상 내용 중 가장 흥미로운 부분은 피아니스트이자 소프트웨어 컨설턴트인 구스타포(Gustavo Diaz-Jerez)의 인터뷰 내용입니다. 그는 이렇게 얘기합니다.

"이 컴퓨터 프로그램이 창작력을 갖게 된 것은 이 알고리즘이 생물학적 프로세스에서 영감을 얻어서 만들어졌기 때문이다"

음악얘기하다가 갑자기 뜸금없이 생물학적 프로세스라니요?

프란시스코 교수는 원래 15년 간 뇌 기능 모델링(brain function modeling)을 연구했는데, 그러던 중 살면서 부딪히는 복합 형태나 행동의 진화(the evolution of complex forms and behaviors)와 같은 삶의 복잡성(life's complexity)에 대해 관심을 갖게 됐다고 합니다. 그리고 이러한 관점이 아야무스에까지 이어집니다. 아야무스는 멜로믹스(Melomics)라는 시스템을 통해 작동되는데, 이 멜로믹스는 "the genomics of melodies"라는 뜻을 갖고 있습니다. 멜로디의 유전학이라는 뜻입니다. (자료 : http://geb.uma.es/fjv)

멜로디의 유전학 Melomics

프란시스코 교수는 BBC와의 인터뷰에서 아야무스는 멜로믹스라는 시스템을 통해 생물이 진화과정을 거치는 것과 같이, 음악적 모티브의 진화 과정을 거쳐 음악이 완성된다고 얘기합니다. 그러면서 이런 얘기를 하면 이를 믿지 않는 사람들도 있다고 얘기합니다. 글쎄요, 이 얘기를 듣고 한 번에 믿을 사람이 얼마나 될까요?^^

여기서 잠깐 멜로믹스에 대해 설명해 놓은 위키피디아 자료를 보고 가겠습니다.

멜로믹스는 음악 작곡에 진화적 관점을 적용한다. 예를 들어, 작곡을 하기 위한 음악 테마들은 진화과정의 시뮬레이션을 통해 얻어진다. 이와 같은 테마들은 형식적으로나 심미적으로나 더 적합한 기능을 하는 것이 선택되도록 서로 경쟁한다. 멜로믹스 시스템은 각각의 음악 테마들을 하나의 유전자로 인코드하고, 이렇게 인코드된 모든 테마들은 진화발생과정(evo-devo : 진화발생생물학 또는 이보디보, Evo-devo; Evolutionary Developmental Biology)을 겪게 된다. 이 시스템은 완전 자동화 되어있는데, 한번 프로그램되면 사람의 간섭없이 작곡을 끝마친다.(자료 : https://en.wikipedia.org/wiki/Melomics)

프란시스코 교수는 "모든 곡은 각각의 곡 마다 핵심이 되는 테마가 있고 이것이 점점 복잡해 지고 자동적으로 진화하게 됩니다" 라고 이야기 합니다.(이것은 음악적으로도 상당히 설득력이 있는 이야기 입니다. 주어진 테마를 곡이 끝날 때 까지 어떻게 변주하고, 질리지 않게 반복시킬 것인가가 서양 음악 작곡의 핵심 중 하나입니다.)

인간의 유전자가 모든 사람이 각각 다른 사람으로 보일 수 있도록 수 없이 변이하는 것 처럼, 아야무스는 음악을 작곡하기 위해 음악적 테마를 변이시킨다고 얘기합니다. 아야무스가 작곡을 하는데 있어서 제한받는 오직 한 가지가 있다면 현실적으로 사람이 연주할 수 있어야 한다는 것과 무슨 악기를 위한 곡인가, 하는 문제 뿐이라는 얘기도 합니다.

"곡은 기계 안에서 모든 진화과정을 마치고, 사람은 아야무스가 진화시킨 수많은 작품들 중에 하나를 고르기만 하면 됩니다."

사람이 하는 일이라고는 아야무스가 작곡을 시작하기 전에 어떤 악기들을 위한 곡인지를 알려주는 것과, 곡의 길이를 얼마로 할 것인지를 가르쳐 주는 것 뿐이라고 합니다. 그리고 피아노를 칠 때 사람이 한 손가락으로 다섯 개의 음 이상은 누를 수 없다는 것과 같은 아주 기초적이고 기술적인 문제들에 대해서만 사전 가이드라인을 설정한다고 합니다.

아야무스와 다른 프로그램들과의 차이점

아야무스가 택한 진화발생관점에서의 작곡은 다른 인공지능 작곡 프로그램들과 아이디어 면에서 근본적인 차이를 보입니다. 데이비드 코프의 에밀리 호웰이나 도냐 퀵의 쿨리타가 특정 작곡가들의 작곡기법을 학습하는 것을 통해 해당 작곡가의 기법을 모방하는 방식으로 인공지능 작곡을 하는데 비해 아야무스는 주어진 테마를 무작위로 진화시키는 과정을 통해 자신만의 오리지널리티를 추구한다는 점이 결정적 차이점입니다.

인간 음악가들 중에도 자신만의 오리지널리티를 찾지 못하는 경우가 더 많습니다. 더 냉혹하게 말하자면, 역사에서 기억하고 있는 몇 안되는 작곡가들만이 자신의 오리지널리티를 구축한 셈이고 나머지 음악가들은 소수 천재들의 영향권에 있었다고 보아야 할 것입니다(이 문제에 관해서는 럿거스 대학에서 그림을 통해 예술가들의 창의력을 측정한 연구를 참조해 주세요.)

또 정해진 패턴, 학습된 패턴으로만 창작이 가능한 것이 아니라 중요한 형질을 유전시키면서 동시에 우연히 발생되는 돌연변이도 받아들이는 진화관점을 가지고 있다는 점이 예술적 관점에서 매우 중요한 것으로 보입니다. 예술은 모두와 공감할 수 있는 익숙함을 가진 동시에 또한 모두의 기대를 깨는 새로움이 공존해야 한다는 점과, 모두가 수긍할 수 있는 규칙성과 또한 모두를 놀라게 하는 랜덤 워크가 공존해야 한다는 점에서 진화적 관점은, 프란시스코 교수가 얘기하는대로 정말로 작동하는 것이라면, 정말 놀라운 신의 한수라고 할 수 있습니다.

아야무스에게 한계는 없다

인간의 개입이 최소화 된 아야무스에게 '이제 작곡해줘'라는 뜻으로 엔터키 한번 만 누르면 클래식 음악 한곡이 뚝딱 완성되어 나온다고 합니다. 모짜르트가 평생에 걸쳐 수천곡을 작곡했는데, 아야무스는 무제한으로 곡을 써 낼 수 있는 것입니다.

현재 아야무스는 12음계로 구성된 서양음계를 기초로 해서 클래식 음악을 작곡하고 있는데, 잠재적으로는 어떤 음악이라도 작곡할 수 있다고 합니다.

예를 들어 힌두나 아랍권에서는 더 많은 음이 사용되는는 스케일을 갖고 있는데, 아야무스에게 이런 음계에 따라 작곡 하도록 하면 아야무스는 이런 규칙에 따라 작곡을 할 수 있는 것입니다.

BBC의 기사는 이렇게 마무리 됩니다.

이 컴퓨터 작곡가가 모짜르트, 하이든, 브람스, 베토벤을 모두 합친것 보다도 더 위대한 작곡가가 될지도 모른다고 말입니다. 사람들은 아직도 기계의 음악이 사람의 음악처럼 생동감 있게 들리기 위해서는 음악가들의 감정이나 재능이 필요할 것이라고 생각하지만, 이미 음악업계에 혁신의 문은 열렸다는 말도 덧붙입니다.

아야무스의 상업화와 저작권 Free 정책

아야무스는 미국에 기반을 둔 Melomics Media라는 회사를 통해 클래식 음악뿐 아니라 좀더 대중적인 음악과 심리치료를 목적으로 하는 기능성 음악 등을 시도하는 것으로 보입니다. BBC 기사에는 아이튠즈나 구글 스토어에서 음원 서비스를 제공하고 있다고 나오는데, 아이튠즈에서는 아직 검색되지 않고 구글 스토어에는 기능성 음악을 제공하기 위한 어플리케이션이 등록되어 있습니다.

저작권과 관련한 정책도 굉장히 신선합니다. 보통 음원을 구매하면 음원을 들을 수 있는 권리만을 취득하게 되는데요, 멜로믹스 음원의 경우 다운로드는 물론이고 아예 음원의 저작권까지 취득하게 된다고 합니다. 엔터키만 누르면 아야무스가 곡을 무제한으로 계속해서 만들어 낼 수 있기 때문에 저작권을 주장하지 않겠다는 것이죠. BBC 기사에 난 대로 정말로 이러한 정책을 꾸려 나가고 있는지 모르겠습니다만, 앞으로 인공지능의 창작이 본격화 되는 시점에서 저작권 문제는 굉장히 중요한 이슈가 될 것만은 분명해 보입니다.

다음 포스팅에서는 아야무스가 멜로믹스로 진화하면서 시도하고 있는 좀 더 대중적 색채의 음악들에 대해 살펴보겠습니다.


(주자료 : http://www.bbc.com/news/technology-20889644)

[예술과 과학] 베토벤과 수학 - 나탈리 클레어

청력을 잃고도 위대한 작품을 남길 수 있었던 이유는?

베토벤은 인류 역사상 가장 위대한 음악작품을 남긴 작곡가 중 한명으로 기억되고 있습니다. 그런데 이렇게 위대한 음악가가 음악가에게 있어 가장 중요한 감각 기관일 수 있는 청력을 잃은 상태에서 이렇게 훌륭한 작품들을 남겼다는 것이 굉장히 아이러니 합니다. 어떻게 이것이 가능했을까요? 여러가지 설명이 있을 수 있겠습니다만, 나탈리 클레어는 음악과 수학과의 상관관계를 통해 이 질 문에 대답을 시도합니다.

수학과 음악의 관계에서 답을 찾는 나탈리 클레어

나탈리 클레어는 스크립스(Scripps) 대학교에서 스튜디오아트와 수학으로 학사학위를 받고 하버드대학교 교육대학원에서 석사를 받았다고 하네요. 그녀의 관심사는 교육에 있어서 어떻게 창의적인 문제해결전략을 적용할 것인가, 라고 하네요. 대박 멋집니다. 이분의 홈페이지 주소이름에 mathartist 라고 되어 있습니다. 본인을 스스로 수학예술가라고 포지셔닝 한 것인데요. 정말 훌륭하고 멋진 아이디어 입니다.

이 분이 테드 강의를 위해 <베토벤과 수학>을 포함해서 모두 세 개의 강연의 내용을 작성하셨다고 합니다. 나머지 두 개는 반 고흐와 섹스피어에 관련된 내용인데요, 다음 포스트에서 하나씩 소개해 드리도록 하겠습니다. 

정말 그럴까?

이 설명을 듣고 있자면 정말 기가막히고 코가막힐 지경입니다. 음악을 수학적으로 저렇게까지 설득력 있게 설명해 내는 과정을 보고 있노라면 그저 입이 다물어지지 않습니다. 아름다운 협화음을 들려주는 화음들 사이로 불협화음이 되는 음을 섞어서 과학적이기만 할 수 있는 음악에 예술적인 아름다움을 더했다, 라고 설명합니다. 물론 흔히 음악에 재능이 있다고 여겨지는 사람들은 이런 것에 대해 과학적으로 배우지 않아도 본능적으로 알고 있기는 하지만 말입니다. 

그런데 정말, 과연 나탈리가 설명하는대로 청력을 잃은 베토벤이 이러한 수학적 논리를 바탕으로 작곡을 했을까요? 글쎄요, 그건 알 수 없습니다. 사실 여기서 베토벤이 이러한 수학적인 지식을 갖고 작품을 썼느냐는 그렇게 중요한 문제는 아닌 것 같습니다. 오히려 이렇게 아름다운, 이렇게 감성적으로 호소력 짙은 예술 작품속에 이러한 과학적 근거가 숨어 있다는 것이 중요해 보입니다.

영상의 말미에 소개되는 인용구입니다.

음악을 감성의 수학이라 말할 수는 없어도

수학을 이성의 음악으로 말할 수 있지 않을까?

-제임스 실베스터(Jame Sylvester, 1814~1897)


*** 예술 속에 숨어있는 과학에 대해 설명해 주실 수 있는 분을 찾습니다.
음악, 미술 등 예술 속에 숨어 있는 과학에 대해서 쉽고 재미있게 수다 떨 듯 설명해 주실 수 있는 분을 찾습니다. 한글로 설명된 자료들이 많이 없네요. 댓글 또는 이메일로 남겨 주세요. virtualme337@gmail.com

[예술과 과학] 예술 속 패턴, 규칙과 반복의 아름다움

왜 어렵다고 느껴질까?

혹시 음악이나 미술을 감상하면서 이해하기 어렵다고 느낀적이 있으신가요? 아마 대중가요 를 들을 때 보다는 재즈와 같은 음악을 들을 때 그럴 가능성이 높고, 또 악기 구성이 복잡하고 다양한 클래식 음악이나 조성에서 많이 벗어나 있는 음악, 리듬이 복잡한 음악을 들을 때 어렵다고 느낄 가능성이 높습니다. 이 작품이 어떤 리듬 패턴을 가지고 있는지, 어떤 멜로디 진행을 가지고 있는지에 대해서 쉽게 파악되지 않을 때 우리는 어렵다고 느낍니다. 마치 제가 수학책을 볼 때 도대체 어떤 규칙이 숨어있는 것인지 금방 파악하지 못해 어려움을 겪는 것과 같이 말입니다.

패턴과 규칙성, 예술의 중요한 장치

위 악보를 보시면 알겠지만 두 마디 단위로 모두 똑 같은 리듬 패턴을 가지고 있습니다. 단순한 리듬이지만 같은 리듬을 반복함으로 해서 이 곡은 일정한 리듬감을 갖게 됩니다. 이러한 패턴의 반복은 이 곡을 좀 더 쉽게 파악하고 이해하게 해주는 아주 중요한 음악적 요소입니다. 요즘 대중가요에서 말하는 후크송이라는 것도 결국은 일정한 패턴의 반복이라고 설명할 수 있습니다. 이처럼 예술 감상에 있어서 패턴의 반복은 그 작품을 좀 더 쉽고 빠르게 이해하도록 도와주는 아주 중요한 장치입니다.

예술작품이라고 하면 어딘가 새롭운 것으로 가득차있는 것으로 생각하기도 하는데요, 만일 반복이 없이 끊임없이 새로운 것으로만 가득 채운다면 우리는 과연 어떻게 느끼게 될까요? 아름답다고 느낄까요? 이에 대한 실험을 수학자가 했다고 합니다.

수학으로 완성한 패턴의 반복없는 음악

<가장 듣기 거북한 음악에 숨겨진 아름다운 수학>이라는 제목으로 강연을 한 스콧 리카드는 반복 없이 예술작품을 만드는 것이 얼마나 어려운 일인가에 대해 설명합니다. 또한 많은 음악학자들은 반복이 예술작품을 아름답게 하는 중요한 요소라고 말하며, 감상자들 역시 자신들이 기대하는 패턴이 또 다시 반복되길 기대하며 감상한다고 설명합니다. 그러면서 해군에서 레이더를 만들던 엔지니어가 더 좋은 레이더를 만들기 위한 연구를 하다가 반복 없는 패턴을 만드는 데 성공했고, 이를 이용해 만든 음악을 들려줍니다.

음악계에서는 쇤베르크라는 작곡가가 1930~1950년 즈음에 이와 비슷한 시도를 했습니다. 쇤베르크는 음계의 패턴으로부터 완전히 자유로운 기법인 음열기법이라는 것을 시도합니다. 저는 쇤베르크의 음악을 들을 때 '새롭긴' 하지만 그것이 아름답거나 음악적이라고 느끼지 못했는데요. 그것은 아마도 그 음악에서 음악적으로 공감할 수 있는 어떤 패턴이나 규칙을 발견하지 못했기 때문일 것입니다.

패턴을 알면 예술이 보인다

창조적이고, 그래서 규칙적이지 않을 것 같은 예술. 그렇지만 그 속에는 오히려 일정한 패턴과 규칙이 숨어 있고, 이러한 반복이 그 예술을 더욱 아름답고 친근하게 느끼게 하는 장치라는 것을 알 수 있었습니다.

우리는 때때로 저 사람 음악에 재능이 있다, 미술에 재능이 있다고 말하곤 하는데요. 예술에 재능이 있는 사람들. 이 사람들은 결국 예술에 숨어 있는 비밀 코드, 즉 청각 패턴이나 시각 패턴과 같은 예술적 패턴을 남들보다 좀 더 빠르게 파악하는 재주를 가진 사람들이 아닐까요?