[컴퓨터 예술] 색을 듣는 남자, 사이보그가 되어보세요!

색을 듣는 남자 Neil Harbisson

색을 구별하지 못했던 남자

예술가로 활동하고 있는 닐 하비슨(Neil Harbisson)은 색을 전혀 구별하지 못하는 상태로 태어났다고 합니다. 세상이 온통 회색빛으로 보였다고 하네요. 그런데 2003년에 어떤 프로젝트를 시작하면서 전자장치를 통해 색을 "들을" 수 있게 됐다고 합니다.

색을 듣게 된 남자

색으로 부터 느껴지는 특정 주파수(음파)를 통해 색을 들을 수 있게 됐고, 색을 듣는 것이 점점 익숙해짐에 따라 이제는 색을 완전히 느끼게 됐다고 합니다. 꿈에서도 색을 느낄 수 있는 정도가 됐다고 하네요. 강연 중에 여러 가지 사물의 색을 음파를 통해 구분하는 장면이 나오는데요. '이것은 보라색'의 소리입니다. 이것은 '더러운 양말(노란색)'의 소리입니다와 같이 색을 "보는" 사람들과는 전혀 다른 방법으로 색을 느끼고 있습니다.

TED에서 강의를 하는 오늘 같이 기분 좋은 날에는 "C 메이저" 색의 옷을 입고 장례식 처럼 뭔가 슬픈 일이 있을 때는 "B 마이너" 색의 옷을 입는다고 말합니다. 일반적으로 사람들은 기분 좋을 때 "밝은"색 계열을 입는다고 말하고 슬픈일이 있을 때 "어두운" 색 계열을 입는 다고 말합니다만, 색을 듣는 강연자는 음악(소리)에서 사용하는 화성이나 화음을 통해 자신의 색에 대한 느낌을 표현합니다. 기쁠때는 메이저 코드, 슬플 때는 마이너 코드와 같이 말입니다.

이제는 음식을 먹을 때도 음식의 색을 느낀다고 합니다. 그러면서 이렇게 표현합니다. 내가 좋아하는 노래를 먹는다구요. 레이디가가를 샐러드로 먹고 라흐마니노프 콘체르토를 메인디시로 먹는다고 표현합니다. 음식의 색을 느낄 때 그것이 소리(음파)로 들리는 것을 이렇게 표현한 건데 시인이 따로 없습니다.

초상화를 듣는 남자

그리고 이제는 사람을 볼 때도 노래가 들린다고 얘기합니다. 어떤 사람은 굉장히 잘 생겼어도 소리는 엉망으로 들리고 어떤 사람은 잘생기진 않았어도 음악은 굉장히 아름다운 경우가 있다고 설명합니다. 이건 마치 사운드 초상화 같은 것이라고 설명합니다. 즉 초상화를 그리는 게 아니라 초상화를 듣는 것이죠. 실제 사람들을 볼 때 들리는 소리를 들려주는데, 굳이 음정으로 따지자면 음정 하나 또는 음정 두개 정도가 겹쳐 들리는 정도 입니다. 이런 정도의 소리 정보로 색을 구분하려면 사실 음정의 높낮이에 굉장히 민감해야 하고 또 이런 음정을 통해 일관성 있게 소리를 구분해 내려면 절대 음감을 가지고 있어야 할 것 같다는 생각도 듭니다. 절대음감이 아니라면 소리를 들을 때 마다 기준 점이 바뀌어서 어제는 440hz에서 느껴졌던 노란색이 오늘은 550hz에서 느껴질 수도 있을 테니까요.

색을 듣는 것에서 그치지 않고, 그렇게 들려지는 소리를 다시 색으로 표현하는 작업도 하고 있다고 합니다. 노래를 들으면서 느끼지는 주파수를 다시 색으로 표현 하는 것이죠. 모짜르트의 음악을 들을 때 느껴지는 색과 저스틴 비버의 색을 들을 때 느껴지는 색의 차이를 그림으로 표현한 것이 재미있습니다.  

사이보그가 되어 보세요!

2년 전부터는 사람들이 감각을 인지하는 것을 돕기 위해 "사이보그 파운데이션(Cyborg Foundation)"을 설립하고 운영중이라고 합니다. 기술을 이용해 사람들이 감각을 느낄 수 있도록 돕는 것을 목적으로 한답니다. 지식이라는 것도 결국 우리의 감각기관을 통해 습득하게 되는데, 감각기관을 확장한다는 것은 결과적으로 지식을 넓히는 것이라고 설명합니다. 참 맞는 말입니다. 결국 보고 듣고 만지고 하는 행위들로 부터 우리는 지식을 습득하게 되니까요.

모바일폰을 위한 어플리케이션을 만드는 것 보다는 우리 몸을 통한 감각기관을 넓힐 수 있는 어플리케이션을 만들면 더 좋지 않겠느냐는 제안도 합니다. 그러면서 우리가 사는 이번 세기는 그런 세상이 될 것이고 자신의 감각기관을 기술을 통해 확장시켜나가는 사이보그가 되면 어떻겠냐고 제안합니다.

너무나 멋진 발상을 너무나 편안한 분위기에서 센스 넘치게 전달하는 모습이 보기 좋습니다. 무엇보다도 저자의 밝은 얼굴과 생동감 넘치는 목소리도 듣기 좋구요.

[예술과 과학] 수학의 파이(Pi)로 작곡한 음악

3.14159265358979............... 아시죠? 파이. 바로 이 파이의 소수점 숫자들을 기억하기 위해서 작곡한 곡이라고 합니다. 이걸 왜 외워야 했을까요?

아무튼 이 곡을 쓴 사람은 숫자를 기억하는 것 보다는 음악을 기억하는게 더 쉬워서 이런 방법을 택했다고 하네요. 음악을 생각하면 멜로디가 기억되기 때문에 그 멜로디들을 통해서 파이의 소수점 숫자들을 떠올릴 수 있다고 합니다.

작곡한 방법을 보면, 음계는 A단조 음계를 썼습니다. 원래 음계는 라 시 도 레 미 파 솔# 라 이렇게 8개의 음으로 구성되는데요. 이에 비해 숫자는 0부터 9까지 모두 10개의 숫자가 나옵니다. 그래서 시작하는 라 밑으로 솔# 을 하나 추가 하고 끝나는 라음 위로 시 를 하나 추가해서 모두 10개음을 만들고 각 음들을 숫자 하나하나와 매칭 시켰습니다.

영상을 보다 보면 파이의 소수점 숫자 10억개를 12폰트로 쓰면 뉴욕시티에서 캔사스까지 간다고 설명하네요. 미쳤나봐요. ㅋㅋ 근데 다행히 이 분은 캔사스 가기전에 적당한 시점에서 곡을 마무리 합니다. 제 생각엔 지하철로 세 정거장 정도 가서 끝난 거 같습니다. ㅋㅋ

멜로디 흐름에 따라 박자를 조금 다양하게 해서 좀 더 멜로딕 한 느낌을 줬어도 좋았을 텐데 이 분은 모두 4분 음표로 처음부터 끝까지 아주 일관되게 밀고 나가셨네요. 대박입니다.

어쨌든 참으로 참신하고 상큼 발랄한 아이디어 입니다. 그럼 감상해 보세요^^

[예술과 과학] 베토벤과 수학 - 나탈리 클레어

청력을 잃고도 위대한 작품을 남길 수 있었던 이유는?

베토벤은 인류 역사상 가장 위대한 음악작품을 남긴 작곡가 중 한명으로 기억되고 있습니다. 그런데 이렇게 위대한 음악가가 음악가에게 있어 가장 중요한 감각 기관일 수 있는 청력을 잃은 상태에서 이렇게 훌륭한 작품들을 남겼다는 것이 굉장히 아이러니 합니다. 어떻게 이것이 가능했을까요? 여러가지 설명이 있을 수 있겠습니다만, 나탈리 클레어는 음악과 수학과의 상관관계를 통해 이 질 문에 대답을 시도합니다.

수학과 음악의 관계에서 답을 찾는 나탈리 클레어

나탈리 클레어는 스크립스(Scripps) 대학교에서 스튜디오아트와 수학으로 학사학위를 받고 하버드대학교 교육대학원에서 석사를 받았다고 하네요. 그녀의 관심사는 교육에 있어서 어떻게 창의적인 문제해결전략을 적용할 것인가, 라고 하네요. 대박 멋집니다. 이분의 홈페이지 주소이름에 mathartist 라고 되어 있습니다. 본인을 스스로 수학예술가라고 포지셔닝 한 것인데요. 정말 훌륭하고 멋진 아이디어 입니다.

이 분이 테드 강의를 위해 <베토벤과 수학>을 포함해서 모두 세 개의 강연의 내용을 작성하셨다고 합니다. 나머지 두 개는 반 고흐와 섹스피어에 관련된 내용인데요, 다음 포스트에서 하나씩 소개해 드리도록 하겠습니다. 

정말 그럴까?

이 설명을 듣고 있자면 정말 기가막히고 코가막힐 지경입니다. 음악을 수학적으로 저렇게까지 설득력 있게 설명해 내는 과정을 보고 있노라면 그저 입이 다물어지지 않습니다. 아름다운 협화음을 들려주는 화음들 사이로 불협화음이 되는 음을 섞어서 과학적이기만 할 수 있는 음악에 예술적인 아름다움을 더했다, 라고 설명합니다. 물론 흔히 음악에 재능이 있다고 여겨지는 사람들은 이런 것에 대해 과학적으로 배우지 않아도 본능적으로 알고 있기는 하지만 말입니다. 

그런데 정말, 과연 나탈리가 설명하는대로 청력을 잃은 베토벤이 이러한 수학적 논리를 바탕으로 작곡을 했을까요? 글쎄요, 그건 알 수 없습니다. 사실 여기서 베토벤이 이러한 수학적인 지식을 갖고 작품을 썼느냐는 그렇게 중요한 문제는 아닌 것 같습니다. 오히려 이렇게 아름다운, 이렇게 감성적으로 호소력 짙은 예술 작품속에 이러한 과학적 근거가 숨어 있다는 것이 중요해 보입니다.

영상의 말미에 소개되는 인용구입니다.

음악을 감성의 수학이라 말할 수는 없어도

수학을 이성의 음악으로 말할 수 있지 않을까?

-제임스 실베스터(Jame Sylvester, 1814~1897)


*** 예술 속에 숨어있는 과학에 대해 설명해 주실 수 있는 분을 찾습니다.
음악, 미술 등 예술 속에 숨어 있는 과학에 대해서 쉽고 재미있게 수다 떨 듯 설명해 주실 수 있는 분을 찾습니다. 한글로 설명된 자료들이 많이 없네요. 댓글 또는 이메일로 남겨 주세요. virtualme337@gmail.com

[예술과 과학] 평균율과 수학

음계의 구성원리가 수학이라고?

어렸을 때 피아노학원 한번 안가본 사람 없을테고 학교다니면서 수학 수업 한번 안들어본 사람은 없을텐데요. 이 둘을 연결지어 생각해 본 사람은 많지 않을 것 같습니다. 저 역시 음대를 졸업했음에도 불구하고 음계가 어떤 원리로 구성되어 있는가에 대해서는 잘 알지 못했습니다. 현악기에서 많이 사용되는 하모닉스라는 주법이 있는데요, 이것 역시 어떤 원리로 그렇게 소리가 나는지에 대해서는 사실 잘 알지 못했습니다. 

사실 음악을 하는데 있어 이런 원리를 모른다고 해서 크게 지장을 받는 것은 아닙니다. 음악에 재능이 있는 친구들을 보면 이런 원리야 어찌됐든 본능적으로 음악이 가진 언어적 특성을 그대로 받아들이니까요. 모국어가 어떤 원리로 구성되었는지 알지 못해도 아무 불편없이 말을 배우는 것과 비슷한 현상같습니다. 

노래방 전조기능도 수학이다?

서양의 음악은 음계의 구성이나 화성, 리듬 등 과학적 원리나 패턴으로 설명할 수 있는 것들이 참 많습니다. 잘 생각해 보면 오케스트라에 포함된 그 수 많은 악기들이 모두 같은 음계로 튜닝이 되어 듣기 좋은 소리를 내는 것 조차도 여간 신기한 일이 아닐 수 없습니다. 피아노, 트럼펫, 풀륫, 바이올린 등 생김새도 가지가지, 악기의 재질도 가지가지, 음색도 가지가지인 이 악기들이 어떻게 모두 같은 음정을 내서 아름다운 오케스트라의 하모니를 만들어 내는 걸까요? 노래방 가서 노래를 부르다가 너무 높거나 낮으면 그저 버튼 몇 번 누르는 것 만으로 쉽게 전조를 한 적 있으시지요? 정말 너무나 당연하게 생각하고 사용하는 이 기능 역시 음계가 아무렇게나 전조를 해도 모두 똑같은 상대적 음간격을 갖도록 설계되어 있기 때문입니다. 

*** 예술 속에 숨어있는 과학에 대해 설명해 주실 수 있는 분을 찾습니다.

음악, 미술 등 예술 속에 숨어 있는 과학에 대해서 쉽고 재미있게 수다 떨 듯 설명해 주실 수 있는 분을 찾습니다. 한글로 설명된 자료들이 많이 없네요. 댓글 또는 이메일로 남겨 주세요. virtualme337@gmail.com


동영상에 자막이라도 있으면 좋으련만 없어서 아쉽습니다. 유튜브 자동번역기능을 사용하시면 한글 자막이 나오긴 합니다. 엉망이긴 하지만요. 

제이미 요크(Jamie York)는 수학 교육자이자 수학과 음악과의 관계에 대해 생각해 보게하는 "수학을 의미있게"라는 시리즈 저자이기도 합니다. 수학과 음악은 요크 고등학교의 수학 수업의 일부이기도 한데요, 여기서 제이미 요크가 쓴 책을 교재로 해서 수학과 음악에 대한 수업을 한다고 합니다. 아래 영상은 고등학생 대상은 아니고 동네 성인들을 위한 특별 수업정도 되는 것 같습니다. 

[예술과 과학] 예술 속 패턴, 규칙과 반복의 아름다움

왜 어렵다고 느껴질까?

혹시 음악이나 미술을 감상하면서 이해하기 어렵다고 느낀적이 있으신가요? 아마 대중가요 를 들을 때 보다는 재즈와 같은 음악을 들을 때 그럴 가능성이 높고, 또 악기 구성이 복잡하고 다양한 클래식 음악이나 조성에서 많이 벗어나 있는 음악, 리듬이 복잡한 음악을 들을 때 어렵다고 느낄 가능성이 높습니다. 이 작품이 어떤 리듬 패턴을 가지고 있는지, 어떤 멜로디 진행을 가지고 있는지에 대해서 쉽게 파악되지 않을 때 우리는 어렵다고 느낍니다. 마치 제가 수학책을 볼 때 도대체 어떤 규칙이 숨어있는 것인지 금방 파악하지 못해 어려움을 겪는 것과 같이 말입니다.

패턴과 규칙성, 예술의 중요한 장치

위 악보를 보시면 알겠지만 두 마디 단위로 모두 똑 같은 리듬 패턴을 가지고 있습니다. 단순한 리듬이지만 같은 리듬을 반복함으로 해서 이 곡은 일정한 리듬감을 갖게 됩니다. 이러한 패턴의 반복은 이 곡을 좀 더 쉽게 파악하고 이해하게 해주는 아주 중요한 음악적 요소입니다. 요즘 대중가요에서 말하는 후크송이라는 것도 결국은 일정한 패턴의 반복이라고 설명할 수 있습니다. 이처럼 예술 감상에 있어서 패턴의 반복은 그 작품을 좀 더 쉽고 빠르게 이해하도록 도와주는 아주 중요한 장치입니다.

예술작품이라고 하면 어딘가 새롭운 것으로 가득차있는 것으로 생각하기도 하는데요, 만일 반복이 없이 끊임없이 새로운 것으로만 가득 채운다면 우리는 과연 어떻게 느끼게 될까요? 아름답다고 느낄까요? 이에 대한 실험을 수학자가 했다고 합니다.

수학으로 완성한 패턴의 반복없는 음악

<가장 듣기 거북한 음악에 숨겨진 아름다운 수학>이라는 제목으로 강연을 한 스콧 리카드는 반복 없이 예술작품을 만드는 것이 얼마나 어려운 일인가에 대해 설명합니다. 또한 많은 음악학자들은 반복이 예술작품을 아름답게 하는 중요한 요소라고 말하며, 감상자들 역시 자신들이 기대하는 패턴이 또 다시 반복되길 기대하며 감상한다고 설명합니다. 그러면서 해군에서 레이더를 만들던 엔지니어가 더 좋은 레이더를 만들기 위한 연구를 하다가 반복 없는 패턴을 만드는 데 성공했고, 이를 이용해 만든 음악을 들려줍니다.

음악계에서는 쇤베르크라는 작곡가가 1930~1950년 즈음에 이와 비슷한 시도를 했습니다. 쇤베르크는 음계의 패턴으로부터 완전히 자유로운 기법인 음열기법이라는 것을 시도합니다. 저는 쇤베르크의 음악을 들을 때 '새롭긴' 하지만 그것이 아름답거나 음악적이라고 느끼지 못했는데요. 그것은 아마도 그 음악에서 음악적으로 공감할 수 있는 어떤 패턴이나 규칙을 발견하지 못했기 때문일 것입니다.

패턴을 알면 예술이 보인다

창조적이고, 그래서 규칙적이지 않을 것 같은 예술. 그렇지만 그 속에는 오히려 일정한 패턴과 규칙이 숨어 있고, 이러한 반복이 그 예술을 더욱 아름답고 친근하게 느끼게 하는 장치라는 것을 알 수 있었습니다.

우리는 때때로 저 사람 음악에 재능이 있다, 미술에 재능이 있다고 말하곤 하는데요. 예술에 재능이 있는 사람들. 이 사람들은 결국 예술에 숨어 있는 비밀 코드, 즉 청각 패턴이나 시각 패턴과 같은 예술적 패턴을 남들보다 좀 더 빠르게 파악하는 재주를 가진 사람들이 아닐까요?

[예술과 과학] Cymatics : 소리가 보이는 놀라운 공명 실험

소리를 본다?

소리는 귀로 듣는 것이고 색은 눈으로 보는 것으로 생각하기 쉽습니다. 그런데 소리를 볼 수 있는 방법이 있습니다. 싸이매틱스(Cymatics)라고 하는 것인데요. 

Cymatics : (physics) the study of visible effects of sound and vibration

싸이매틱스 : 소리와 진동의 시각효과에 대한 연구(물리학) 

Cymatics : 소리가 보이는 실험

"우주의 비밀에 대해서 알고싶다면, 에너지, 주파수, 진동에 대해서 생각해 보라"는 니콜라 테슬라의 말로 시작하는 이 동영상은 철판위에 모래를 뿌린 후에 음파생성기로 특정 주파수를 발생시켜 철판을 진동시키는 실험을 합니다. 특정한 주파수의 진동에 따라 철판위의 모래들이 마치 어떤 예술작품과도 같이 기하학적인 패턴으로 재배열 됩니다. 재미있는 것은 주파수가 높아짐에 따라 점점 더 복잡한 패턴을 보여준다는 점입니다.  

음파생성기에서 나오는 음파의 소리와 실험 전 과정을 보고 싶으신 분은 아래 영상을 확인하시면 됩니다. 

설치 예술로도 활용되는 Cymatics

Meara O'Reilly 라는 사운드 아티스트는 이런 효과를 이용해서 설치예술을 하기도 합니다. 

Colour Sound 

그런가하면 Kenichi Kanazawa는 이런 공명효과와 색깔 모래를 이용해서 Colour Sound라는 멋진 시각효과를 만들어 냅니다. 

Cymatics : 모짜르트의 "Una Donna a Quindici Anni" 실험

집에서 만든 톤스코프(tonescpoe)에 대고 모짜르트의 "Una Donna a Quindici Anni"를 부르는 실험입니다. 특정한 음정에서 모래들이 특정 패턴으로 재배열 되는 것을 볼 수 있습니다. 도대체 어떻게 이런 일이 가능한 걸까요?

비밀은 Standing Wave 

양 끝이 묶여 있는 줄을 상상해 보시기 바랍니다. 이 줄을 흔들면 줄에 파동이 생기고 줄이 움직이게 되는 데요. 처음에 한쪽에서 다른 쪽 끝으로 움직였다가 끝에 도달하면 다시 내가 있는 방향으로 돌아오게 됩니다. 즉 왼쪽에서 오른쪽으로 가는 파동과 오른쪽에서 왼쪽으로 돌아오는 파동 2개가 생깁니다. 그런데 줄은 하나이기 때문에 두 개의 파동이 보이는 것이 아니라 두개의 파동이 합쳐져 하나의 움직임으로 나타나게 되고 방향성은 느껴지지 않게됩니다. 이것을 스탠딩웨이브라고 합니다.

이 스탠딩 웨이브에는 움직임이 없는 "node" 와 움직임이 있는 "antinode" 가 생기는데요, 철판위의 모래들은 파동이 있는 antinode 에서는 파동에 밀려 움직여지고, 파동이 없는 node에 모이게 되어 특정한 패턴을 가진 시각적 무늬가 나타나게 됩니다.

우연치고 너무 아름다운 시각효과

이렇게 재배열된 모래들은 우연이라고 하기에는 너무나도 아름다운 패턴을 보여줍니다. 게다가 반복과 대칭 등 예술적으로 아름다움을 느낄 수 있는 여러 요소들을 담고 있습니다. 또한 사용되는 진동판이 사각이냐 원이냐에 따라서도 다른 패턴을 만드는 것 같습니다. 소리라는 것이 그저 청각 정보만 담고 있는 것이 아니라, 소리라는 파동 그 자체에 이미 시각적 요소를 내포하고 있다는 것이 새삼 놀랍고, 표현되는 시각 정보 또한 너무나 아름다운 패턴이라는 데 또 한번 놀라게 됩니다. 또 이 모든 것을 과학적으로 설명할 수 있다는 것이 더더욱 놀랍기만 합니다. 

*** 예술 속에 숨어있는 과학에 대해 설명해 주실 수 있는 분을 찾습니다.

음악, 미술 등 예술 속에 숨어 있는 과학에 대해서 쉽고 재미있게 수다 떨 듯 설명해 주실 수 있는 분을 찾습니다. 한글로 설명된 자료들이 많이 없네요. 댓글 또는 이메일로 남겨 주세요. virtualme337@gmail.com