빅데이터

4. 데이터 사이언티스트의 현실과 미래 (사례설명 중요)

성공을 도와주기 2019. 6. 14. 09:49

4. 데이터 사이언티스트의 현실과 미래

데이터 사이언티스트는 세계에서 ‘21세기 가장 섹시한 직업’으로 꼽힐 만큼 매력적인 직업이다. 그러나 데이터 중심 경영을 실천하지 않는 국내 현실에서도 이 말이 유효할까? 데이터 사이언티스트에 대한 환상과 그들이 갖춰야 할 역량, 국내 현실 등 그들을 둘러싼 다양한 시선을 객관적인 평가와 경험을 통해 풀어본다.

21세기 가장 섹시한 직업

<하버드 비즈니스 리뷰>가 2012년 12월호에서 ‘데이터 사이언티스트’에 관한 특집기사에 달아 놓은 제목이다. 국내 신문에도 가끔 이와 관련된 기사들이 보인다. 요는 ‘미래에는 빅데이터가 많은 분야에 활용될 것’이며, ‘이러한 일을 할 수 있는 데이터 사이언티스트가 많이 필요하다. 하루빨리 데이터 사이언티스트를 양성해 시대의 흐름에 발을 맞추어야 한다’는 내용이다. 그러나 기사가 놓치고 있는 부분이 있다. 데이터 사이언티스트는 결코 무턱대고 선택할만한 진로가 아니라는 것.

대학 시절, ‘졸업하고 뭘 먹고 살까?’ 하는 생각을 했던 적이 있다. 그 때 신문을 보다가 우연히 눈에 띈 직업이 변리사였다. 1990년대 후반이었던 당시, 전문직 중에서도 소득이 가장 높은 직업군이 바로 변리사였다. 연봉이 평균 4억 원에 달했다. ‘우와, 나도 저 일 해야겠다’는 생각이 들어 실제로 자세히 알아봤다. 그런데 해당 직군에 종사하는 분을 직접 만나 이야기를 들어보니 그렇게까지 벌이가 좋은 것은 아니었다. 나름 몇 가지 장점이 있고 소득 수준도 일반 직장에 비해서 높은 편이다. 하지만 준비하는데 보통 3~4년이 걸린다는 점을 생각하면 돈만 보고 선택할만한 진로는 아니다.

대학원을 졸업하고 비즈니스의 세계에 뛰어든 지 벌써 대략 8년이 지났다. 처음부터 ‘데이터 사이언티스트’라는 직업을 선택한 것은 아니었다. 나는 공대에서 컴퓨터 전공으로 박사학위를 받았지만, 더 현실 세계에 임팩트를 줄 수 있는 일을 하고 싶었기에, 첫 직장에서는 프로그래밍이나 개발자 분야가 아닌 사업전략 직군으로 커리어를 시작했다. 그때의 선택 이후 내가 가진 장점을 더 잘 살릴 수 있는 방향으로 조금씩 이동하다 보니 어느 틈엔가 데이터 사이언티스트가 돼 있었다.

요즘 들어 대학을 다니고 있거나 갓 졸업한 젊은 친구들을 만날 기회가 있는 편이다. 데이터 사이언티스트라는 직업 또한 하나의 가능성으로 열어 두고 이 길이 정말 선택할만한 길인가 저울질해 보는 경우가 있다. 이들을 보면 내가 과거 변리사에 대해 열심히 알아보던 때가 생각이 나 나도 모르게 웃음이 나온다.

사실 좋은 직업이나 나쁜 직업 같은 건 없다. 자신에게 잘 맞는 일과 그렇지 못한 일이 있을 뿐이다. 어떤 일이건 자신에게 맞는 일을 찾아 즐겁게 하면 커리어는 잘 풀린다. 자신에게 맞는 일을 찾으려면 다양한 시도를 해 봐야 하는데 세상의 모든 직업을 직접 다 경험해 볼 수는 없으므로, 이 글을 통해 데이터 사이언티스트가 무슨 일을 하는지 궁금해하는 사람들이 이 세계를 더 구체적으로 알 수 있는 계기가 되길 바란다.

데이터 사이언티스트 하려면 석·박사 해야 하나요?

개인적으로 학생들에게 가장 많이 받는 질문 중 하나가 ‘석·박사 학위가 있어야 하는지’다. 글쎄, 데이터 사이언티스트로 경력을 쌓는 데 석·박사 과정이 과연 얼마나 도움이 될까? 사실 나는 독특한 케이스다. 박사학위가 있으면 대부분의 경우 학교나 연구소에 직장을 잡는 경우가 많지만, 나는 박사 졸업을 하고 첫 커리어를 인터넷 게임 서비스를 전문으로 하는 게임포털 회사에서 시작했다. 게다가 이런 회사에서 전산 전공 박사라고 하면 개발자로 직장생활을 시작하기 마련인데 나는 전략기획 직군으로 일을 시작했다. 자, 문제는 지금부터다.

여기서 만약 박사를 하지 않았더라면

과연 내 인생이 많이 달라졌을까?

첫 직장에서 받은 대우는 딱히 좋지도 나쁘지도 않았다. 대학원 안 다니고 바로 직장생활 시작해서 지금까지 무난히 일했다면 받을만한 수준의 연봉과 직급이었다. 하지만 초기에는 고생을 많이 했다. 공부는 공대에서 프로그래밍을 전공했는데 실무는 전략기획 직군에서 시작했으니, 박사라고 해도 실은 대학 졸업생이나 별반 다를 바가 없었다. 회사에서는 ‘박사’라는 타이틀 때문에 기대치가 매우 높은데 경험이 없어 일하는 건 신입사원하고 큰 차이가 없으니 얼마나 힘들었겠는가?

회사에서 일하는 방식과 학교에서 일하는 방식은 전혀 다르다. 난 이러한 사실을 첫 직장에서 뼈아픈 경험을 통해 배웠다. 직장생활 초기 상사가 내게 ‘우리 회사 VIP 고객 좀 뽑아 달라’는 업무지시를 한 적이 있다. 나는 ‘드디어 내 실력을 보여 줄 기회가 왔다’고 생각했다. 왜냐하면, 이 문제는 박사과정 할 때 공부했던 기계학습 기술을 그대로 활용할 수 있는 분야였기 때문이다. 나는 수일간 밤을 새우며 열심히 일해서 박사과정 당시 배웠던 방법을 이용해 문제를 풀고 답을 찾았다. 결과를 들고 의기양양하게 일을 시킨 상사를 찾아가 보고했다. 어떻게 됐을까?

상사가 내 설명을 한참 듣고 결과를 물끄러미 보더니 한마디 한다. “문석현 씨는 왜 그렇게 일을 어렵게 해요? 그냥 매출 많은 순서로 적당히 자르면 되지 않나요?”

나는 망치로 뒤통수를 얻어맞은 것 같은 충격을 느꼈다. 상사가 말한 대로 매출순으로 적당히 잘라 VIP 명단을 만든 다음, 처음 했던 기계학습을 활용한 결과와 비교를 했다. 결과는 90%가 일치했으며, 다른 부분도 꼭 내가 처음에 했던 것이 더 나은 결과라고 말할 수 있는 근거가 없었다. 단 몇 시간이면 끝날 일을 박사과정 때 배운 기계학습 적용한답시고 수일을 허비한 것이다.

이것은 소위 공부 좀 했다고 하는 사람들이 직장생활 하면서 흔히 저지르는 실수다. 학교 연구에서는 엄밀히 방법론과 이론적 근거가 중요하다. 이 부분이 제대로 정리돼 있지 않으면 일을 안 한 것과 다름이 없다. 하지만 회사 실무에서는 방법론이 좀 엉성하고 이론적인 근거가 없더라도 실용적인 답을 빠르게 찾아내는 것이 더 중요하다. 그래서 회사에선 대단한 인공지능 기술보다도 사람이 엑셀로 잠깐 이리저리 집계해서 내놓은 답이 훨씬 더 쓸모 있을 때가 많다. 학교에서 석·박사 과정을 거치면서 배우는 고급 통계나 데이터 마이닝 기술은 실질적으로 쓰이는 데가 그리 많지 않다. 기껏해야 가설검정이나 회귀분석 정도일까?

얼마 전 모 회사의 마케팅 담당 부사장을 만난 적이 있다. 이 회사는 앱을 통해 배달음식 주문을 중계하는 서비스로 급격히 성장하고 있는 회사였다. 이 회사도 데이터 분석 역량을 강화하고자 데이터 사이언티스트를 뽑으려는 중이었는데, 면접은 많이 봤지만, 마음에 드는 사람이 없더라는 것이다. 이유인즉슨, 지원하는 사람들이 대부분 대학원에서 통계 등 관련 전공을 공부하고 바로 직장생활을 시작하려는 사람들인데 현실감각이 너무 떨어져서 실무를 제대로 할 수 있을까에 대해 의심스럽다는 것이다. 잘은 몰라도 아마 직장생활 초기의 나 같은 케이스였으리라.

그렇다면 석·박사학위가 데이터 사이언티스트로서 커리어를 쌓아 나가는 데 어떠한 도움도 안 되는 것일까? 장기적으로 봤을 때에는 분명히 도움이 되는 부분이 있다. 공대에서 석·박사 과정을 거치면 어떤 전공이든지 과학적인 논리에 기반을 두고 자료를 해석하고 자신의 주장을 펼치는 방법을 배운다. 이러한 능력은 필드에서도 매우 중요하다. 데이터 사이언티스트가 회사에서 하는 일이 바로 데이터로부터 인사이트를 찾아내고, 그것을 뒷받침하는 논리와 근거를 제시하는 일이기 때문이다.

결론적으로 말하면, 석·박사학위가 도움 되는 부분은 있지만 없으면 안 될 정도로 결정적인 요소는 아니란 것이다. 석·박사 과정 거치지 않고도 잘하는 사람들이 많으며, 한다고 해서 바로 현장에서 실력 발휘를 할 수 있는 것도 아니다. 즉, 회사에서 제대로 일을 하기 위해서학위보다 더 중요한 부분이 많다. 게다가 시간도 많이 든다.

내 경우 학위를 얻는 데 7년을 투자했으니 결코 짧은 시간이 아니었다. 열심히 하면 한 분야의 전문가가 되기에 충분한 시간이다. 이런 부분을 고려해서 각자 판단을 하면 될 것이다.

이미지 출처. https://goo.gl/qwe9v7

실제로 어떤 일을 하나?

회사에서 데이터 사이언티스트가 할 수 있는 일은 무궁무진하게 많다. 분야를 막론하고 데이터를 활용해 효율성을 높일 수 있다면 그것이 데이터 사이언티스트의 영역이다. 현실적으로 봤을 때 가장 많이 사용되는 분야는 아무래도 온라인 마케팅이다. 마케팅 활동이나 고객 관리에 관해서는 이론적인 체계가 잘 잡혀 있다. 가령 신규고객을 한 명 유치하는 것이 회사에 얼마나 이익을 가져다주는지 몇 가지 데이터를 활용하면 실제 계산이 가능하다.

하지만 이론적으로 아무리 측정할 수 있어도

데이터가 없으면 소용이 없다.

예를 들어, TV 광고를 집행했다면 해당 광고를 통해 추가적으로 발생한 매출을 정확히 가려내는 것이 어렵다는 것이다. 이런 상황에서는 아무리 이론적 토대가 잘 돼 있어도 실제 계산을 할 수 없다. 반면 온라인 광고에서는 고객들의 행동을 정확하게 파악할 수 있다. 서비스를 사용할 때마다 관련 기록이 시스템에 남기 때문이다. 많은 데이터 사이언티스트가 온라인 마케팅 분야를 주로 다루는 것도 이러한 이유에서다.

하지만 데이터를 비즈니스에 활용하는 것이 꼭 마케팅에만 국한되는 것은 아니다. 예전에 분석용 소프트웨어 영업을 하는 사람에게 들은 이야기가 있어 소개하려 한다. 그가 소프트웨어를 판매하기 위해 한 보험회사에 방문했을 때의 일이다. 그는 자사의 분석 툴을 소개했고 다양한 분석이 가능하다는 점을 강조하며 서비스를 이용하는 다른 회사의 성공사례들을 이야기했다. 하지만 진짜 구매로 이어지기 위해서는 결정적인 한 방이 필요했다. 그래서 잠재고객이 이미 소유하고 있는 데이터를, 자사 분석 소프트웨어를 활용해 새로운 인사이트를 찾아 결과를 보여주겠다고 말했다.

이를 위해 보험회사가 가진 데이터를 요청했다. 보험사는 자사 영업사원들이 퇴사할 때 작성한 자료를 가져다주고 분석 툴을 이용해서 뭔가 새로운 인사이트를 한 번 찾아보라고 했다.

사실 영업사원의 퇴사는 보험회사 차원에서 심각한 문제다. 우리나라 보험사의 계약 실적은 많은 부분 영업사원들의 몫이다. 실력 있는 영업사원이 퇴사할 경우 당장 신규계약을 따내기 힘들어지는 것은 물론이고, 잘못하면 그 영업사원이 따 온 계약들이 줄줄이 해지되는 경우도 많다. 왜냐하면, 퇴사 후 다른 보험사로 이직해 자신이 알던 고객들에게 새로운 보험사로 옮길 것을 권유하기 때문이다.

어떻게 해야 이런 부정적인 영향을 줄일 수 있을까?

퇴사자들의 자료를 분석해 보니 재미있는 사실이 드러났다. 퇴사 사유 가운데 가장 많은 부분을 차지하면서도 결과가 안 좋은 케이스가 바로 ‘상사와의 불화’였다. 직장생활을 하면서 가장 스트레스를 많이 받는 부분이 상사와의 관계인 경우가 많은데, 이 업종도 예외는 아니었다. 그리고 상사와의 불화로 회사를 떠난 사람들은 시간이 한참 흐른 뒤에도 회사에 부정적인 감정을 가지고 있었고 이런 사원들이 따냈던 보험계약은 해지될 확률이 높았다.

그래서 소프트웨어 영업사원은 어떻게 했을까? 그는 결과를 보여주면서 퇴사 프로세스를 개선할 것을 제안했다. 퇴사할 때 그냥 내보내는 것이 아니고 상사와의 면담을 통해 그동안 불만스러웠던 부분이나 하고 싶었던 이야기를 충분히 할 수 있도록 절차를 마련하는 방안을 제시했다. 실제 이런 과정을 통해 그 보험사는 쌓여 있는 상사와 퇴사자 간 감정의 응어리를 어느 정도 풀어낼 수 있었고, 퇴사 이후에도 회사에 대해 긍정적인 기억을 가질 수 있게 됐다. 이러한 노력은 보험계약 해지율 감소라는 결과로 나타났다.

이러한 사례는 데이터를 인사에 활용한 케다이스이. 이러한 분야를 ‘피플 애널리틱스(People Analytics)’라고 해서 현대 경영학에서는 별도로 중요하게 다루고 있다. 실제로 구글 같은 경우 인력 관리에서 발생하는 여러 데이터를 분석해 인사정책에 반영하기도 한다. 예를 들면 이런 식이다. 어떤 프로젝트에 대해 가장 좋은 성과가 나오는 팀의 규모는 몇 명일까? 채용 시 면접에서 좋은 평가를 받은 사람이 입사한 다음에도 일을 잘할까? 이런 문제들에 대해 데이터를 쌓고 분석을 통해 답을 낸 다음, 이를 인사 정책에 반영하는 것이다.

데이터 과학자가 하는 일은 비즈니스 현장에서 발생하는 데이터를 분석해 회사가 더 나은 방향으로 나아갈 수 있도록 길을 제시하는

것이다.

주제는 다양하다. 마케팅이나 전략기획이 가장 흔한 분야지만 반드시 이에 국한되지는 않는다. 인사나 제조업의 경우는 물론 생산과 같은 분야에서도 데이터가 도움 될 수 있는 여지가 많다.

<데이터 사이언티스트의 현실과 미래②>로 이어집니다.