[컴퓨터 예술]음악에서 사람 목소리를 구분하는 인공신경망

오늘은 "딥러닝 머신이 칵테일 파티의 문제를 해결했다"는 제목의 기사를 소개해 드리려고 합니다. 칵테일 파티 효과(cocktail party effect)는 주변 환경에 개의치 않고 자신에게 의미 있는 정보만을 선택적으로 받아들이는 것을 말합니다. ‘선택적 지각(selective perception)’ 또는 ‘선택적 주의’라고 하는데, 이런 선택적 지각이나 주의가 나타나는 심리적 현상을 일컫는 것으로 ‘자기 관련 효과(self-referential effect)’, ‘연회장 효과, 잔치집 효과’라고도 합니다.(출처 : 위키피디아)

음악을 들을 때도 우리는 이와 비슷한 상황을 경험하게 됩니다. 음악에 따라 여러 가지 악기와 사람의 목소리가 복잡하게 섞여 있는데, 사람들은 자기의 의도에 따라 특정한 사람의 목소리 또는 특정한 악기만을 따로 구분하여 듣습니다. 그런데 이 일을 기계도 할 수 있을까요? 사람에게는 정말 아무것도 아닌 능력일 수 있는 일이지만, 최근까지 기계에게는 이것이 굉장히 어려운 일이었다고 합니다. 그런데 최근 인공신경망이라는 머신러닝 기술을 통해 기계도 이일을 해 낼 수 있게 됐다고 합니다. 근래 들어 사람의 얼굴인식이나 표정인식과 같은 시각 영역에서 머신러닝의 활약이 두드러졌는데, 이제는 컴퓨터가 사람 못지않은 청각 능력도 갖게 된 것입니다. 


기사원문은 여기를 클릭해 주세요.

칵테일 파티 이펙트(Cocktail party effect)는 여러 사람의 목소리나 여러 배경음 가운데서 특정 사람의 목소리를 구분해 내는 능력을 말합니다. 사람은 쉽게 할 수 있는 일이지만 과학자나 엔지니어들이 인공적으로 재현하기는 어려운 문제였습니다.

음악 분야에서도 이 칵테일 파티 이펙트가 특히나 어려운 문제로 여겨집니다. 사람은 여러 악기가 함께 연주되는 사운드 속에 사람 목소리가 숨어 있어도 이것을 아주 잘 구분해 내지만 기계는 이 일을 하는데 어려움을 겪습니다.

그런데 최근에 영국 서레이 대학교의 앤드류 심슨과 동료들 덕에 이 문제가 풀릴 수 있을 것으로 보입니다. 이 연구진은 배경음악에서 사람 목소리를 구분해 내기 위해 인공신경망(Deep Neural Network)을 사용했습니다.

이러한 접근법은 최근 머신러닝이나 신경망(neural network) 연구가 크게 진보했다는 것을 보여줍니다. 또 이연구를 통해 음악에서 목소리를 구분해 내는 것 뿐만아니라 칵테일 파티 이펙트라고 알려진 것과 관련된 좀 더 보편적인 문제들도 해결할 수 있을 것으로 보입니다.

이 연구진이 선택한 연구법은 아주 직설적입니다. 여러 악기나 보컬이 각각 별도의 트랙에 기록되어 있는 63곡을 수집해 이를 데이터베이스화하여 분석하였습니다. 물론 모든 악기와 보컬이 하나의 파일로 믹스되어 있는 트랙도 있습니다.

연구진은 악기별로 따로 녹음된 트랙과 모든 악기와 보컬이 합쳐져 있는 트랙을 20초 단위로 쪼개어 각 부분별로 어떤 주파수 특성이 나타나는지 스펙트로그램을 통해 확인했습니다. 확인 결과 각 악기나 사람의 목소리를 구분할 수 있는 독특한 핑거프린트(finger print)를 확인할 수 있었습니다.

모든 소리가 합쳐진 스팩트로그램도 만들었는데 이 것은 각각의 트랙의 스팩트로그램이 하나로 합쳐진 것과 같았습니다. 결국 사람 목소리를 악기소리로 부터 분리해 내는 작업은 모든 소리가 합쳐져 있는 스펙트로그램에서 사람의 목소리에 해당하는 스펙트로그램을 분리해 내는 작업이었습니다.

연구진은 전체 63곡 중 50곡을 인공신경망의 훈련(학습)을 위해 사용했습니다. 나머지 13곡은 실제 테스트를 위해 남겨두었습니다. 결과적으로 이 인공신경망은 모두 2만 개 이상의 스펙트로그램을 학습하게 되었습니다.

이 인공신경망이 수행하는 작업은 아주 간단합니다. 전체가 믹스된 트랙의 스펙트로그램이 인풋으로 주어지면 거기서 사람의 목소리에 해당하는 부분의 스팩트로그램을 아웃풋으로 내는 것입니다.

이와 같은 머신 러닝 작업은 결국 파라미터값을 조정해 나가는 작업이 됩니다. 인공신경망은 원하는 아웃풋을 내기 위해 조정되어야 할 수십억개의 파라미터값을 갖습니다. 이렇게 많은 파라미터값의 조정은 반복작업을 통해 가능하게 됩니다. 처음에는 랜덤하게 시작하지만 점차 많은 데이터를 분석할 수록 파라미터 값이 점점 안정됩니다.

세팅이 어느정도 안정됐다고 판단된 시점에서 연구진은 13개의 테스트 곡을 입력해 보았습니다. 결과는 매우 인상적이었습니다. 연구진은 음악에서 사람의 목소리를 분리하도록 훈련된 인공신경망이 처음 듣는 새로운 음악에서도 사람 목소리를 분리해 낼 수 있는 것을 확인했습니다. 또 인공신경망 연구에 있어서 이번 연구가 갖는 중요한 의미는 도대체 "보컬" 사운드라는 것이 어떤 것인지를 알았다는 것이다라고도 얘기합니다.

이 연구 결과를 가장 먼저 적용해 볼 수 있는 분야는 노래방 기계입니다. 음악과 노래가 함께 믹스되어 있는 트랙에서 사람목소리 부분만 빼서 노래방 기계에 적용할 수 있기 때문입니다. 그러나 이것은 하나의 예일 뿐, 좀 더 광범위한 응용이 가능합니다.

인공신경망이 머신러닝을 광범위한 영역에서 혁신시키고 있습니다. 얼굴인식이나 사물인식에 있어서도 사람만이 가능한 일이었지만 최근에는 이 역시 기계가 할 수 있는 일이 되었습니다. 그리고 이제는 "칵테일 파티 이펙트" 문제에 있어서도 사람이 우위를 점하기는 어려워 졌습니다.

자료 :  arxiv.org/abs/1504.04658 : Deep Karaoke: Extracting Vocals from Musical Mixtures Using a Convolutional Deep Neural Network

[컴퓨터 예술] 인공지능이 만든 죽이는 뮤직비디오

인공지능이 죽이는 뮤직비디오를 만들었다

는 제목의 기사입니다. 

제목을 보자마자 너무 호기심이 생겨서 기사는 읽기전에 뮤직비디오 부터 봤는데 이게 정말 시사하는 바가 엄청난 것 같습니다. 인공지능이 예술가의 스타일에 대해 학습을 할 수 있다는 하나의 증거가 될 수 있을 것 같습니다. 웨더어노말리 라는 팀은 자신들의 뮤직비디오를 만들기위해 인공신경망이라는 인공지능 기술을 이용하여 인공지능이 예술대가들의 작품을 학습하게 했고 이렇게 학습한 인공지능이 그들이 만든 뮤직비디오에 마치 반고흐나 뭉크가 참여한 것과 같은 효과를 연출해 주었습니다. 

인공지능은 확실히 반고흐나 뭉크의 색감, 질감 등의 특징을 잘 잡아내었구요, 우리가 포토샵 등에서 이미지에 필터를 적용하는 것과 비슷하게 사람이 촬영한 영상의 색감과 질감을 그들이 학습한 예술가의 특징에 따라 화면을 변화시킨 것으로 보입니다. 

이러한 결과가 인공지능이 한게 맞느냐? 결국 사람이 한 것이 아니냐라고 물으실수도 있겠는데요. 실제 이 영상이 공개된 유튜브에는 이런 댓글이 달려 있기도 합니다. 

Max Loh 3일 전(수정됨)

And now online journalism is saying "THIS MUSIC VIDEO WAS CREATED BY AN ARTIFICIAL INTELLIGENCE" even though it had no part in the creation of the music, and the only thing it did for the video is the cool-looking artistic effects :/

언론들이 "뮤직비디오가 인공지능에 의해서 만들어졌다"고 쓰고 있지만 인공지능이 한것이라고 해봐야 고작 멋지게 보이는 시각 효과를 내준 정도 아니냐. 물론 음악은 아예 빼고 얘기하더라도 말이다.

물론 이 분의 이야기도 참 맞는 말입니다. 인공지능이 한 일이라고 해봐야 겨우 위에서 언급했던 대로 시각효과 나부랭이정도 내 준 것일 수도 있습니다. 그러나 지금 우리가 주목해야 할 부분은 "시각효과를 내주었다"가 아니라 시각효과를 내기 위해서 인공지능이 스스로 "학습했다"라는 부분일 것입니다. 

예전에 포토샵을 이용할 때는 포토샵에 이미 프로그램 되어있는 효과만을 적용할 수 있었습니다. 물론 파라미터값들은 정해진 범위내에서 변화시킬 수 있었지만 말입니다. 그런데 이제는 인공지능 알고리즘만 있다면 미리 프로그램된 효과필터가 없이도 그 때 그 때 자신이 원하는 방향으로 인공지능을 학습시켜 원하는 효과를 낼 수 있게 된 것입니다. 

인공지능이 눈에 카메라 달고 드론처럼 날아다니면서 사람과 시리로 대화하면서 직접 촬영을 하고 촬영을 마치고 나서는 스스로 음악을 들으면서 음악과 어울리는 적당한 장면을 찾아내어 편집하고 혼자 렌더링까지 마무리하고 적당한 파일명으로 저장하는 것까지 스스로 다 해야 인공지능이 뮤직비디오를 만들었다고 얘기할 수 있는것 아니냐고 생각하실수도 있습니다만, 지금 우리는 기사에서 얘기하고 있는대로 예술이 인공지능을 통해서 완전히 다른 차원으로 들어가는 새로운 르네상스의 초입에 있는지도 모르겠습니다. 

아래는 기사번역입니다.  

This Stunning Music Video Was Made By Artificial Intelligence

We’re in the middle of a new artistic renaissance.

Posted: 11/23/2015 07:57 AM EST

우리는 지금 인공지능 알고리짐이 예술가들로 하여금 새로운 형태의 이야기, 이미지, 음악을 만들게 하는 예술의 새로운 부흥기(a new artistic renaissance)에 들어온 듯 하다. 

WeatherAnomaly가 "Secret Society of Soul Painters"라는 제목의 새로운 뮤직비디오를 발표했는데, 아주 특별하고 환상적인 효과를 만들기 위해서 인공신경망(artificial neural network)라고 알려진 인공지능을 사용했다. 결과는 진짜 끝장나게 멋지고 고흐나 뭉크의 대작이 연상될 정도다. 이건 내 얘기를 들어서 될 일이 아니고 일단 한번 보기 바란다. 

인공신경망은 페이스북이나 구글, 마이크로소프트, 바이두 등에서 이미지(사진)와 관련된 기술에 사용하고 있다. (구글 포토를 사용한다면 이미 알고 있겠지만 사진을 올리면 사진이 자동 분류된다, 이미 당신들도 인공신경망을 사용하고 있는 것이다) 이들 기업 중 몇몇은 자신들의 기술을 오픈소스로 공개하고 있는데 이 기술이 예술과 같은 새로운 영역에 적용될 수 있다. 

WeatherAnomaly는 "Secret Society of Soul Painters" 뮤직비디오를 만들기 위해 Torch 라는 프로그램과 최근의 연구에서 "예술을 위한 인공신경망(A Neural Algorithm of Artistic Style)"이라 이름으로 묘사되고 있는 알고리즘을 이용하였다. 토치,(torch)라는 프로그램은 최초에 지금은 페이스북에서 일하고 있는 로난 콜버트라는 사람에 의해 개발되었다. 

이 기술의 작동원리는 간단하다. 인공신경망이 하나의 이미지에 대한 스타일에 대해서 학습(learn)하고 이것을 다른 스타일의 그림들과 통합해 내는 것이다. 이 융합(mashup)이 정말 멋진 결과를 내 주기도 한다. 

이 프로그램들을 구하고 또 이것을 통해 뭔가 해보려고 하면 아직도 컴퓨터에 대한 노하우가 필요하긴 하다. 그러나 점점 시간이 갈 수록 GitHub 같은 온라인을 통해 프리패키지(pre-packaged)가 보급되고 있어서 인공지능 초보자들이 DIY로 이전에는 존재하지 않았던 새로운 예술을 만들 수 있는 기회가 생기고 있다. Years&Years 라는 밴드 역시 그들의 뮤직비디오에 인공지능이 만든 그래픽을 넣을 것이라고 한다. 

만일 인공지능이 인간 예술가들의 일자리를 뺏는 것은 아닐까 걱정할 수도 있는데 아직은 그럴필요는 없다. 이 모든 프로젝트들은 아직 인간의 도움을 필요로 한다.