백곰술사의 IT Insight

안녕하세요

이번에는 AI발전에 따른 Data Scientist 업무와 Data Analyst의 역할변화에 대해서 써보려 합니다.

개요(잡설)

이 글을 쓰는 이유는

몇일 전 Data Analyst 업무를 수행 중인 회사 친한 동생이

자신의 업무에 비해 처우가 좋지 않아 팀이동을 고려 중이라는 말을 듣고 느끼는 바가 있었기 때문입니다. 

저는 이 말을 듣고 곰곰이 생각해보았습니다.

"왜 Data Analyst가 그런 생각을 가지게 되었을까...?"

결론부터 말씀드리면 현재 Data Economy 및 AI Driven 시대에

기존 HR 정책 및 조직구성이 따라가지 못하기 때문입니다.

당연하겠지요.

HR담당자가 Digitalization을 이해하고 처우를 개선해주는 기업은 많이 없을 것입니다.

기존 Data Analyst업무가 AI시대 에서는  중요업무가 되었음에도 불구하고

시장과는 다른 훨씬 더 낮은 연봉 체계를 그대로 유지합니다.

이 부분이 제 친한 동생이 느낀 외부와 내부의 자기 처우에 대한 괴리감이겠지요.

각설하고

그렇다면 시대에 따라서 어떻게 Data Analyst의 역할이 변화했으며, Data Scientist의 업무가 정의되었는지

그리고 우리는 AI시대에 어떤 인식을 가져야 하는지 써보겠습니다. 

[Data Analyst 역할 변화]

1. 2000년 후반 ~ 2010년 초반(통계/분석 중심)

  이 시기에는 HDFS, SPARK, STORM 등 BigData가 급격하게 발전하는 시기 였습니다.

  하지만 많은 기업들이 BigData를 경영, 업무 프로세스를 위해 사용하는 시기는 아니었습니다.

  DW, DM 등을 많이 사용하였고, SAS를 이용한 Data 분석이 중심이 되는 시기였습니다.

  이 시기의 DataAnalyst 업무는 DW, DM을 통한 SAS 데이터 분석 및 데이터마이닝이었습니다. 

  DW를 통한 SAS분석이 BigData의 구축보다 비용/사용 효율적인 시대였고,

  기업 입장에서 어떠한 목표를 위해 BigData를 도입할 필요가 없었던 시점이었습니다.

2. 2010년 초중반 ~ 현재(AI 모델링 중심)

  하지만 2010년 초반부터 급속한 AI산업 발전은 BigData의 도입 필요성을 높였습니다.

  모든 산업이 AI를 통한 프로세스 혁신을 추구하게 되었고, 당연히 BigData도 도입되었습니다.

  그에 따라 Data Analyst의 역할도 변화하게 되었습니다.

  통계/분석 중심 시기에는 현업, 경영자를 위한 Data제공이 우선이 되었다면

  AI 모델링 중심 시기의 DataAnalyst 업무는 아래와 같습니다.

    1) AI Modeling을 위해 BigData 기반 Data분석 및 AI 학습 Data 제공

    2) 제공된 Data Process/Meaning/Insight(도메인 지식)를 Data Scientist와 공유

  특히 2)번 역할은 굉장히 중요합니다.

  데이터 프로세스 및 의미(도메인 지식)를 명확하게 알지 못한다면

  Data Scientist는 해당 업무에 맞는 AI Modeling이 어렵기 때문입니다.

  따라서 Data Analyst를 하시다가 AI기술을 배워 Data Scientist로 넘어가시는 분들도 많습니다.

[Data Scientist 역할]

Data Scientist의 역할은 아래와 같습니다.

    1. 제공된 AI Data 학습 통한 AI Modeling 수행

    2. Business Develop을 위한 AI서비스 개발

    3. BigData AI모델, 통계 기반 미래 지표 예측 및 Insight도출

[Data Scientist 업무 중요 고려사항]

Data Scientist 업무 수행시 가장 중요한 고려사항이라고 한다면

AI Modeling 뿐만 아니라 AI를 적용시키려는 Business에 대한 이해가 가장 중요합니다.

Business를 이해하지 못하고서는 AI Modeling이 정확히 되지 않기 때문입니다.

Business 이해는 Data Analyst와 공통적인 부분인데

서로 협의하여 Data에 대한 명확한 의미를 파악하는 것이 무엇보다도 중요합니다.