빅데이터 전문가 : 전망과 현황

http://www.lgchallengers.com/career/job_research/20140703_big_data/

넘치는 정보 속 빛을 발견하는 사람들, 빅데이터 분석가

2014/07/03 | 3:20 pm609 View

 

여름 방학 때 영국 여행을 계획하고 있는 럽제니. 하루 종일 여기저기서 항공편을 검색했더니 페이스북 옆 광고와 구글 광고가 온통 영국 호텔 추천, 면세점, 항공사 프로모션으로 가득 찼다. 덕분에 영국 여행 준비는 손쉽게 완료. 그런데, 내가 검색해 본 결과를 어떤 원리로 내게 다시 보여주는 걸까. 검색어 분석을 통해 필요한 정보를 제공해 준 스마트한 광고는 바로 빅데이터 분석의 결과였다. 이처럼 우리가 쏟아내는 정보를 분석하여 가치를 창출하는 이들이 있어 우리의 삶은 한층 더 편리해 졌다. ‘데이터 홍수’ 시대에 혜성처럼 나타난 빅데이터 분석가. 그들의 이야기를 알아보자.

빅데이터 분석가, 데이터 속에 생명을 불어 넣기

IT 기술의 발달로 우리의 일상 속에는 인터넷을 비롯한 다양한 매체가 깊숙이 침투했다. 빨라진 정보 전달 속도, 편리해진 다양한 소프트웨어 속에서 우리는 매일 방대한 양의 ‘데이터’를 쏟아내고 있다. 최근 2년 동안 우리가 쏟아낸 데이터의 양이 그 전까지 누적된 데이터의 양을 훨씬 넘는다는 사실은 이러한 ‘데이터’ 홍수 시대의 현실을 잘 보여주고 있다. 이런 흐름 속에서 주목 받고 있는 새로운 직종이 있으니, 그것은 바로 빅데이터 분석가이다.

빅데이터 분석가는 이러한 빅데이터를 분석해 유용한 상관관계를 발견하고, 정보를 추출해 내는 일을 한다. 가만, 그럼 빅데이터란 무엇일까? 빅데이터는 스마트폰이 활성화 된 2008년도를 기점으로 데이터 증가 속도가 급격히 증가하면서 사용되기 시작한 용어이다. 빅데이터가 이름 때문에 많은 양의 데이터 양을 의미한다고 생각하는 사람이 많다. 하지만 빅데이터는 단순히 데이터의 양이 많은 것을 일컫지 않는다.

기존방식으로 저장, 관리, 분석이 어려울 정도의 대규모 자료, 빅데이터는 ‘3V’라고 불리는 세 가지 특징을 만족해야 한다. ‘3V’에는 Volume, Velocity, Variety가 있다.

빅데이터의 특징, ‘3V’란?
Volume 데이터의 양이 많아야 한다.
Velocity 데이터 증가 속도가 빨라야 한다. 데이터의 양만큼이나 중요한 것이 증가하는 속도이다. 데이터를 처리하는 속도가 적어도 데이터의 증가하는 속도보다는 빨라야 소화해 낼 수 있기 때문이다. 예를 들면, 트위터는 하루 15테라의 데이터를 쏟아내고 있다. 기존에도 15테라 크기의 데이터는 존재했다. 따라서 기존의 소프트웨어 회사에서 감당 할 수 있는 크기이나, 감당 할 수 없는 속도이다.
Variety 데이터가 다양해야 한다. 인터넷 사용이 활발해 지기 전에는 데이터의 유동이 적었다. 그러므로 데이터가 만들어 지는 곳의 특징에 따라 데이터가 서로 관계를 띄었다. 즉, 철을 생산하는 공장에서는 철 생산 공정과 관련된 데이터가 생성되고, 의류 생산 공장에서는 의류 생산과 관련된 데이터가 생성되는 것이 전부였다. 이 이유로 구조적으로 잘 정리된 관계형 데이터만 정리를 하면 되었다. 하지만 인터넷을 통해 데이터의 유동이 커지면서 사회 전반적으로 다양한 형태의 데이터가 생성되고 있다.

티끌 모아 태산! 수 많은 정보 속에서 의미를 찾다

빅데이터 분석은 모든 이들이 필요로 하는 서비스로 자리매김했다. 비즈니스, 마케팅, 경제, 금융 등 모든 산업 전반에 있어서뿐만 아니라 우리 생활 곳곳에서도 빅데이터 분석은 합리적인 의사 결정에 도움을 주고 있다.

그렇다면 몇 가지 사례를 살펴볼까. 오바마 정부는 2013년 빅데이터 분석을 기반으로 한 ‘Pillbox 프로젝트’로 의료개혁에 나섰다. NIH에서 제공하는 서비스인 ‘Pillbox’는 유전자 데이터 공유를 통해 체계적인 질병 치료 체계를 마련하고 의약품 정보를 제공하고 있다. 이 서비스는 의약품 관련 민원을 처리하는 비용 연간 5000만 달러의 비용 절감효과를 가지고 있다.

매장 빅데이터 서비스, ‘WALK INSIGHTS’ (출처 : www.walkinsights.com)

빅데이터 분석의 이점을 가장 많이 누리고 있는 분야 중 하나가 바로 마케팅이다. 이를 통해 소비자의 패턴을 파악할 수 있기 때문에 기업의 홍보 및 판매 전략을 세울 때 많은 도움이 된다. 소셜 네트워크와 블로그 실시간 분석을 통해 VOLVO 자동차는 신규 출시 모델의 초기 불량 파악으로 5만 대 이상 차량 리콜을 예방했다. 뿐만 아니라 카페 브랜드 K사, 의류 브랜드 M사 등은 스마트폰 신호를 통해 매장 방문객의 출입 및 체류 패턴을 측정하고 분석해 매장 빅데이터 서비스를 사용하고 있다. 이렇게 얻은 정보는 매장 관리 시스템을 만드는 데 사용된다.

대화 내용을 통해 감정을 분석해 주는 빅데이터 서비스, 텍스트앳 (출처 : 텍스트앳)

재미있게도 빅데이터 분석을 이용해 알쏭달쏭한 이성의 마음을 알아 볼 수도 있다. 인터넷에 떠돌아 다니는 신뢰성 없는 애정도 테스트와는 차원이 다른 감정 분석 보고서 ‘텍스트앳’이 바로 그것. 이 어플리케이션은 빅데이터 분석을 통해 실제 6억개의 대화 데이터를 분석한 결과를 토대로 썸남, 썸녀와의 대화를 분석해 준다. 내 거인 듯 내 거 아닌 내 거 같은 그 혹은 그녀가 있다면 텍스트앳에 감정분석을 의뢰해 보는 건 어떨까?

Mini Interview
포항공과대학교 컴퓨터공학과 유환조 교수

정보통신 시대의 블루오션, 빅데이터 분석. 이 분야에서 우뚝 서기 위해서는 두 가지 자질을 갖추는 것이 좋다. 첫째, 데이터를 분석해야 하기 때문에 논리를 가지고 분석하는 능력, 즉 논리력이 강해야 한다. 그리고 둘째, 통찰력을 가지고 데이터의 큰 흐름을 볼 수 있어야 한다. 이는 데이터를 통해 새로운 시사점을 제시해야 하는 빅데이터 분석의 특징 때문에 반드시 필요한 자질이라고 할 수 있다.

이런 자질을 갖추고 성장해야 할 빅데이터 분석가. 이에 대한 수요는 많지만 아직 관련 전문가는 턱없이 부족한 상태다. 국내에선 최초로 빅데이터 분석 전문가가 된 포항공과대학교 유환조 교수. 그를 통해 빅데이터 분석 이야기를 더 들어보자.

럽젠Q 빅데이터 분석이 전도유망한 분야라는 이야기에 대해서 어떻게 생각하시나요?

"저는 그 말에 동의하는 바입니다. 뭐든 얼마나 사회에 기여하는가에 따라서 이 분야가 전도유망 한지 아닌지가 결정되는데요. 오바마의 ‘Pillbox 프로젝트’, 그리고 VOLVO가 5만 대 이상의 차량 리콜을 막을 수 있었던 사례도 있듯이, 이렇듯 빅데이터가 이미 사회 개선에 많은 기여를 하고 있고, 앞으로의 가능성도 무궁무진하기 때문에 빅데이터 분석은 충분히 가치 있다고 생각합니다."

럽젠Q 기억에 남는 빅데이터 분석 사례는 어떤 것이 있나요?

"미국 Iowa 대학 교수로 있던 시절 큰 보험 회사 연구실로부터 데이터 분석 의뢰를 받은 적이 있습니다. 그 때 보험 처리 자료를 분석해 접수된 사건이 보험 사기인가 아닌가 예측하는 모델을 만드는 일을 하게 되었죠. 제가 높은 확률로 보험 사기를 판단해 내는 프로그램을 만들어 냈지만 제도, 법률 등의 제약으로 상용화가 되지는 못했습니다. 단순히 기술력이 빅데이터 분석에서 전부가 아니라 사회적인 요소를 고려해야 한다는 어려움을 느끼게 된 경험이어서 기억에 남습니다."

컴퓨터로 작업 중인 유환조 교수.

럽젠Q 빅데이터 분석가의 현재 수요와 공급은 어떻게 되고 있나요?

"빅데이터 분석가에 대한 수요는 넘쳐나지만 공급은 제대로 되고 있지 않는 상황입니다. 2011년 매킨지 보고서에 따르면 2030년 필요할 빅데이터 분석가는 50만명인데 반해 공급은 30만에 그쳐 20만의 인력이 부족할 것이라 예상하고 있습니다. 우리나라의 상황은 더욱 열악하죠. 그래서 국내 기업은 국내에서 인력을 구하지 못 해 국외에서 인력을 많이 충당하고 있습니다."

럽젠Q 왜 국내에서는 빅데이터 분석가 인력이 이렇게 부족한가요?

"현재 빅데이터를 체계적으로 교육하는 기관이 국내에는 몇 안 된다는 것이 가장 큰 문제입니다. 하지만 개선 여지는 충분히 있습니다. 아직 시스템을 갖춰 진행되지는 않았지만 국내에서 ‘Data Science학과’ 등 독립적인 학과 개설, 빅데이터 자격증 발급 등 다양한 해결 방안을 모색 중입니다."

빅데이터 분석과 관련된 책으로 가득한 유환조 교수의 책장

럽젠Q 빅데이터 분석가가 되려면 어떤 과정을 거쳐야 할 까요?

"빅데이터를 분석하기 위해서는 컴퓨터에 대한 기초적인 이해가 필요합니다. 빅데이터 분석에서는 특정한 툴 킷을 사용하기 보다는 상황에 맞게 자신이 분석 방법을 구현해야 하기 때문에 기초적인 이해가 있으면 좋습니다. 따라서 데이터의 구조부터 시작해서 알고리즘과 같은 기본적인 지식을 쌓은 후 빅데이터를 다루는 게 좋겠죠."

이 글을 읽고 있는 이 순간에도 수없이 많은 데이터가 우리 손에서 생성되고 있다. 어지럽게 쌓여 가는 데이터에서 새로운 가치를 찾아내는 빅데이터 분석가. 그들을 통해 빅데이터가 쓰레기가 아닌 도구가 되어 우리들에게 다시 다가왔다. 아직은 개인정보 보호, 프라이버시 관련 문제와 같이 해결해야 할 과제가 남아 있기도 하지만, 기존의 데이터를 이용해 새로운 시사점을 제시하는 빅데이터, 그리고 이를 분석하는 이들이 하는 일이야말로 새로운 형태의 ‘업사이클링’은 아닐까.

Tip
빅데이터 관련 교육 기관 및 사이트
1. 빅데이터 아카데미 
미래창조과학부 산화 정부기관. 현업 DB전문가를 대상으로 빅데이터 교육을 제공한다.http://www.dbguide.net/bigacademy.db
2. 빅데이터 국가전략 포럼 
빅데이터 분석보고서, 전략/정책 산업 사례 기술 등의 자료를 찾아 볼 수 있다. 빅데이터 관련 행사 안내도 확인 할 수 있다.http://www.bigdataforum.or.kr/?pid=main
3. 빅데이터 포럼 
포럼 및 분과 소개를 더불어 빅데이터 관련 자료를 찾아볼 수 있다.http://www.kbd.or.kr/

글/사진:김율화 20기 학생기자