[인공지능]빅데이터 전문가를 압도하는 인공지능

최근 2~3년 사이에 빅데이터가 화두였습니다. 그 전까지만 해도 숫자를 통해서만 통계적 의미를 확인하는 것이 일반적이었습니다. 그런데 빅데이터라는 것이 등장하면서 부터 소셜 미디어에 떠 다니는 수많은 텍스트나 이미지로 부터 의미 분석이 가능하게 되었습니다. 데이터 전문가들은 빅데이터라는 정보의 바다에서 의미 있는 정보를 찾아내어 그 정보에 대해 설명하고 앞으로 어떻게 될 것인지에 대해 예측을 제시했고 이들의 몸값은 치솟았습니다. 그런데 이런 일을 대신 할 수 있는 인공지능 소프트웨어가 나왔다고 합니다. MIT 연구진은 사람보다 훨씬 빠른 시간 내에 대등하거나 더 나은 수준으로 빅데이터를 분석해 내는 인공지능 소프트웨어를 개발했고 이미 이를 활용한 스타트업을 시작했다고 합니다.

Illustration: MIT

하버드 비즈니스 리뷰는 2012년에 빅데이터 분석 전문가를 21세기 유망직종 6위에 올리기도 했습니다만, 예측을 내 놓은지 불과 3년 만에 이러한 예측을 수정해야 할 지도 모르겠습니다. 사람과 인공지능의 빅데이터 분석 능력을 대회를 통해 검증해 본 결과 인공지능이 무려 60~70%에 이르는 사람 빅데이터 전문가 집단을 앞질렀기 때문입니다. 인공지능 보다 더 나은 분석력을 보인 인간 전문가는 불과 30% 정도 였습니다.

이 소프트웨어를 개발한 연구진은 빅데이터 전문가들이 일자리를 잃게 되거나 가치가 떨어지는 것은 아닐 것이라고 얘기합니다만, 이 말을 그대로 받아들이기는 어려워 보입니다. 현재 최상위 전문가 집단의 연봉이 약 1억원(10만 달러)이라고 하는데요, 기업들 입장에서는 전문가를 채용하는 대신 소프트웨어를 구매할 가능성이 높아질 수 밖에 없습니다. 또 연봉 등 경제적 부담이 커서 빅데이터 전문가를 채용하지 못했던 소규모 사업자들에게도 이는 분명 희소식 입니다. 잠재적으로 데이터 전문가들의 몸값은 하락이 불가피 할 것으로 예상됩니다.

빅데이터 분석과 같은 일은 화이트 칼러 잡 중에서도 매우 전문성이 높은 일로 여겨져 왔다는 점에서 상당히 충격적인 일로 생각됩니다. 기사에 따르면 최상급의 전문가가 한 달여에 걸쳐 매달려야 하는 일을 이 소프트웨어는 길어야 12시간이면 할 수 있다고 합니다. 또 그 정확성에 있어서도 90%를 상회한다고 하니 기업 입장에서 굳이 전문가를 채용해야 하는 이유가 있는 것인지 의문이 들기도 합니다.

이에 대해 연구진은 이 소프트웨어의 개발이 인간 전문가의 자리를 대체하는 것이 아니라 오히려 더 많은 데이터 전문가를 양성하는데 기여할 것이라고 얘기합니다. 빅데이터에 대한 깊이 있는 지식이 없더라도 이 툴을 다룰 줄 안다면 전문가와 같은 퍼포먼스를 낼 수 있기 때문입니다. 마치 그림이나 사진에 탁월한 재능이나 능력이 없어도 포토샵을 활용해서 전문가 뺨을 후려치는 작품을 생산하는 일반인들이 많아진 것과 비슷한 논리입니다. 정말 최근의 기술 발전 속도를 보면 인간이 지적 능력으로 컴퓨터와 경쟁을 하려는 시도 자체가 무의미해 보이기도 합니다.

좀 더 자세한 내용을 보고 싶으면 아래 기사 원문 보기를 클릭하시거나 밑에 한글 번역 기사를 읽어보시기 바랍니다.


기사 원문 보러가기는 여기를 눌러주세요.

스타트업 Feature Lab 홈페이지 바로가기


지금까지 데이터 전문가들은, 아주 높은 연봉을 받는 사람들조차, 데이터에 대한 설명과 패턴 예측을 하기위해 인간의 직관에 의존해 왔습니다. 그러나 이번에 MIT에서 개발한 "데이터 사이언스 머신" 소프트웨어는 로데이터 간의 상관관계 확인을 통해서 완전히 자동화된 컴퓨터 예측모델을 만들어 냅니다. 이 소프트웨어 때문에 데이터 전문가들이 위협 받을 것이라고 생각할 수도 있겠지만 오히려 데이터 전문가들에게 도움이 되는 측면도 있습니다. 소프트웨어가 예측 모델을 더 빨리 만들기 때문에 사람이 할 일이 그만큼 줄어드는 것이죠. 게다가 회사 측면에서도 얻는 장점도 큽니다. 회사 입장에서는 데이터 전문가를 키우기 위해 들여야 할 노력과 비용을 줄일 수 있기 때문입니다.

MIT의 컴퓨터 사이언스와 인공지능 연구실(MIT Computer Science and AI Lab)의 데이터 과학지이자 "데이터 과학 머신"의 공동 개발자이기도한 맥스 캔터(Max Kanter)는 이 소프트웨어의 개발을 통해 데이터 전문가가 늘어날 수 있을 것이라고 얘기합니다. 앞으로 데이터 전문가에 대한 수요가 증가할 것으로 예측되는데, 이런 기술의 발달로 인해 수요보다 공급이 앞설 것이라는 얘기입니다. 이번에 개발된 "데이터 과학 머신"이 사람 데이터 전문가가 약 한달이 걸려야 할 수 있는 일을 2~12시간 정도면 로데이터 분석을 통해 자동으로 정확한 예측모델을 만들어내기 때문입니다.

페이스북에서부터 월마트에 이르기까지 데이터 전문가는 여전히 희소성이 있는 인재이고 연봉도 약 1억원 수준으로 높은 편입니다. 2011년, 매킨지는 미국에만 한정하더라도 약 14만에서 19만 명 정도의 데이터 전문인력 부족 현상이 있을 것으로 예상했습니다. 2012년 하버드 비즈니스 리뷰는 데이터 전문가를 21세기 유망직종 6위에 올리기도 했습니다.

이러한 현상은 빅데이터로 부터 얻을 수 있는 가치있는 정보들이 많기 때문입니다. 소셜미디어 사용자들의 행동을 예측할 수도 있고, 금융시장에서 수십억 달러의 가치를 창출할 수도 있고, 천문연구에도 사용될 수 있기 때문입니다.

이처럼 가능성은 높지만, 실제로 로데이터를 통해 비즈니스에 도움이 될 수 있는 정보로 변화하는 것은 쉬운 일이 아닙니다. 데이터 전문가라고 할지라도 이런 일을 하기 위해서는 예측 모델을 만들기 위해서 한달여 정도를 매달려야 하고, 로데이터 중에서 핵심 변수가 무엇인지를 알아내기 위해 여러 차례에 걸쳐 데이터를 샅샅이 뒤져야 합니다. 그리고 나서 "머신 러닝"이라고 알려진 기술을 사용해서 그 변 수들을 테스트하고 수정해 나가야 합니다.

연구진은 이러한 데이터 전문가들의 작업 프로세스에서 영감을 얻어서 이번 프로그램을 개발했습니다. 지금까지의 데이터 분석 프로그램들은 1차원 적이거나, 아주 특정한 산업이나 특정 분야에 한정되어 있었는데, 이번 프로그램 개발을 통해 어떤 데이터라도 분석 가능하도록 개발하고자 했습니다.

방대한 로데이터에서 의미있는 상관 변수를 자동으로 추출해 내는 "피쳐 엔지니어링(feature engineering)것이 이번 개발의 핵심입니다. 두 번째 핵심 기능은 데이터에서 최적 파라미터 셋을 찾아내는 "오토 튜닝(auto tuning)" 기능 입니다. 이 기능을 통해 가장 관계가 높은 하위 변수들을 찾아낼 뿐만 아니라 변수들 간의 관계를 밝히고 예측 모델을 결정하기 위한 최적의 머신러닝 기술이 무엇인지도 찾을 수 있습니다.

이 프로그램을 개발하고 나서 모두 세번의 데이터 분석 대회(KDD Cup 2014, IJCAI, and KDD Cup 2015)에 참가했는데, 참가팀 인간 데이터 전문가로 구성된 906팀 중 615개의 팀을 제쳤습니다. 또한 각 대회에서의 데이터 분석 정확도는 94%, 96%, 87%로 상당히 높았습니다. 이런 결과는 아직 인공지능이 최상위의 데이터 전문가들에게는 뒤쳐지지만 일반적인 수준에서는 상당히 경쟁력이 있다는 것을 보여줍니다.

그렇다고 데이터 전문가들의 가치가 낮아지거나 일자리를 잃게 되는 것은 아닙니다. 그 보다는 데이터 전문가들이 좀더 효율적으로 일할 수 있게 됐다고 봐야겠습니다. 그럼에도 불구하고 많은 기업들에게 이 소프트웨어가 데이터 전문가를 채용하는 데 있어 많은 영향을 미칠 것입니다. 점점 더 많은 기업들이 데이터 전문가를 필요로 하게 될텐데, 모든 기업들이 구글이나 페이스북에서 일하고 있는 높은 수준의 데이터 전문가를 채용할 수 있는것은 아니기 때문입니다.

연구진들은 이렇게 말합니다.

"앞으로 데이터에 기반한 의사 결정은 점점 늘어날 것이다. 따라서 점점 더 많은 데이터 전문가가 필요할 것이고 더 능력있는 데이터 전문가가 필요할 것이다. 그런데 사람들을 교육하거나 훈련해서 이러한 수요를 다 충족시키기는 어려울 것이다. 따라서 기계가 더 잘할 수 있는 부분에 대해서는 기계에게 맡기고 사람은 사람이 잘 할 수 있는 일에 집중하는 것이 좋을 것이다."

연구진은 빅데이터에를 분석하고 그에 기초한 의사 결정을 함으로써 어떤 회사라도 "테크 기업(tech company)"가 될 수 있을 것이라고 얘기합니다. 이커머스, 크라우드 펀딩, 소매, 교육, 금융, 정부에 이르기 까지 빅데이터의 활약은 영역을 가리지 않고 퍼져나갈 것입니다. 그리고 이 연구진은 "Feature Lab" 이라는 스타트업을 통해서 이미 고객사를 모집하고 있기도 합니다. 이 스타트업의 슬로건은 이렇습니다.

"데이터 전문가 없이도 데이터로부터 더 많은 일을 하세요."