백곰술사의 IT Insight

안녕하세요

이번에는 각 회사에서 Data Science를 통해 사업 경쟁력을 높이려 하지만

실질적으로 성과가 미미한 이유에 대해 조직 측면에서 알아보려 합니다.

[Data Science]

먼저 Data Science에 대해서 알아보면 WiKi에서는 아래와 같이 정의하고 있습니다.

"데이터 마이닝(Data Mining)과 유사하게 정형, 비정형 형태를 포함한

다양한 데이터로부터 지식과 인사이트를 추출하는데 과학적 방법론"

간단하게

평범한 데이터 집합에서 Data Insight를 분석/도출하는 분야라고 할 수 있습니다.

[왜 기존 산업영역에 DataScience가 중요해졌는가]

BigData+AI가 급격하게 발전되기 이전의 Data Science는 가치가 높지 않았습니다.

그 때는 Data Science라기 보다는 정적데이터 기반 Business Intelligence 분야가 더 활성화 되어있었습니다.

하지만

동적 데이터 기반의 BigData + AI가 발전하며 Data를 통한 예측이 정교화되었으며

고객에게 Personalize된 서비스를 제공하는 산업의 성장이 발전하기 시작했습니다.

가장 잘 아시는 회사가 YouTube이며

Data라는 것은 쌓이면 쌓일수록 가치를 발현하며 사업영역에서 Winner Takes All의 확률이 올라갔습니다.

하지만 각 산업영역의 기존 대형 플레이어들은 빠른 Digitalization을 하지 못하였으며

Big Blur 시대 아래와 같은 새로운 경쟁에 직면하게 되었습니다.

YouTube로 인한 방송컨텐츠의 경쟁

FinTech기업의 등장으로 인한 금융산업의 경쟁

마켓컬리 등의 등장으로 인한 식품/물류산업의 경쟁

Ride-hailing, Ride-Sharing으로 인한 교통산업의 경쟁

위와 같은 IT기반 회사의 특징은

고객Data의 분석을 통한 최적화된 개인화서비스(Data Science)를 제공하는 것이 특징이며

기존 산업의 플레이어도 이에 대응하기 위해

자연스럽게 Data Insight를 통한 신규서비스 제공을 고민하게 되었고 최근에는 빠르게 도입하고 있습니다.

하지만

많은 기업들이 BigData, AI를 통한 Data Science 전문가들을 고용했지만

명확한 성과가 나오질 않고 오히려 Startup에 시장을 잠식당하는 현상이 나타났습니다.

Data Science를 위한 인프라, 인력, 조직 등이 갖추어 졌는데 대체 왜 경쟁력있는 서비스가 나오지 않는가?

여기에 대해서는 저는 기존 산업의 조직 구성 측면에서의 문제점을 말하고 싶습니다.

[기존산업의 AS-IS 조직 구성의 문제점]

결론부터 말씀드리면 기존 기업들의 일반적인 조직 체계는 Data Science를 위한 조직에 적합하지 않습니다.

이미 모든 조직은 Data Science팀을 만들기전 체계화된 조직을 가지고 있습니다.

그래서

Digital Transform을 진행 시 정형화된 예전 조직은 그대로 두고 Digital본부를 Add하는 형태로 진행합니다.

아래는 기업의 일반적인 조직구조 체계 예시입니다.

하지만

Data Science를 통한 Insight의 도출의 가장 중요한 구성요소는

통계지식과 더불어 "업무 도메인의 명확한 이해"입니다.

위와 같은 조직체계로는 AI, BigData 부서에서 Data가 어떻게 생성/관리되는지 명확히 이해하지 못합니다.

Data Analysis, Science를 하려고해도 업무 프로세스와 특징, 특정 데이터에 대한 명확한 의미를 알지 못하면

단순한 패턴 도출은 가능할지 몰라도, 회사의 경쟁력있는 서비스의 도출은 한계가 존재합니다.

아래 그림으로 보면 Data 생성/관리/분석 프로세스의 Silo가 존재하여 비효율성이 존재하는 것입니다.

따라서 우리는 Data Science를 통한 신규서비스 창출 및 Insight도출을 위해

"Cross Functional Team" 조직구성이 필요합니다.

[Cross Functional Team]

Cross-functional team의 정의는 Wiki에서 아래와 같이 정의하고 있습니다.

"서로 다른 기능 전문가들이 공통적인 목표를 위해 구성된 그룹"

(A cross-functional team is a group of people with different functional expertise working toward a common goal)

기업은 Data Scientist가 Data의 명확한 분석/모델링을 할 수 있게 Cross Functional한 조직을 구성해야합니다.

그래야 Data Scientist가 Data의 생성/ 관리를 명확히 알 수 있고, Insight를 도출하기 때문입니다.

아래 예시에서 보듯이

Payment팀의 개발자와 Data Scientist가 상호 한 팀으로 업무를 하는 것을 통해서

서로 간의 업무 이해도 증진, 빠른 이슈 공유 및 서비스 개발, Data Insight 도출이 가능할 것 입니다.

많은 분들이 MSA, Container기반의 Cloud가 도입되어야 Cross-functional team이 의미가 있을것이라 하지만

금융, 물류, 공장 등의 기간 산업들은 빠르게 Cloud가 도입될 수 없는 사정을 고려해보면

아래와 같은 Cross-functional team 선제적으로 도입함으로써

업무 효율성 뿐만 아니라 조직 문화를 바꿔나가는 것도 좋다고 생각합니다.

감사합니다.

안녕하세요

이번에는 AI발전에 따른 Data Scientist 업무와 Data Analyst의 역할변화에 대해서 써보려 합니다.

개요(잡설)

이 글을 쓰는 이유는

몇일 전 Data Analyst 업무를 수행 중인 회사 친한 동생이

자신의 업무에 비해 처우가 좋지 않아 팀이동을 고려 중이라는 말을 듣고 느끼는 바가 있었기 때문입니다. 

저는 이 말을 듣고 곰곰이 생각해보았습니다.

"왜 Data Analyst가 그런 생각을 가지게 되었을까...?"

결론부터 말씀드리면 현재 Data Economy 및 AI Driven 시대에

기존 HR 정책 및 조직구성이 따라가지 못하기 때문입니다.

당연하겠지요.

HR담당자가 Digitalization을 이해하고 처우를 개선해주는 기업은 많이 없을 것입니다.

기존 Data Analyst업무가 AI시대 에서는  중요업무가 되었음에도 불구하고

시장과는 다른 훨씬 더 낮은 연봉 체계를 그대로 유지합니다.

이 부분이 제 친한 동생이 느낀 외부와 내부의 자기 처우에 대한 괴리감이겠지요.

각설하고

그렇다면 시대에 따라서 어떻게 Data Analyst의 역할이 변화했으며, Data Scientist의 업무가 정의되었는지

그리고 우리는 AI시대에 어떤 인식을 가져야 하는지 써보겠습니다. 

[Data Analyst 역할 변화]

1. 2000년 후반 ~ 2010년 초반(통계/분석 중심)

  이 시기에는 HDFS, SPARK, STORM 등 BigData가 급격하게 발전하는 시기 였습니다.

  하지만 많은 기업들이 BigData를 경영, 업무 프로세스를 위해 사용하는 시기는 아니었습니다.

  DW, DM 등을 많이 사용하였고, SAS를 이용한 Data 분석이 중심이 되는 시기였습니다.

  이 시기의 DataAnalyst 업무는 DW, DM을 통한 SAS 데이터 분석 및 데이터마이닝이었습니다. 

  DW를 통한 SAS분석이 BigData의 구축보다 비용/사용 효율적인 시대였고,

  기업 입장에서 어떠한 목표를 위해 BigData를 도입할 필요가 없었던 시점이었습니다.

2. 2010년 초중반 ~ 현재(AI 모델링 중심)

  하지만 2010년 초반부터 급속한 AI산업 발전은 BigData의 도입 필요성을 높였습니다.

  모든 산업이 AI를 통한 프로세스 혁신을 추구하게 되었고, 당연히 BigData도 도입되었습니다.

  그에 따라 Data Analyst의 역할도 변화하게 되었습니다.

  통계/분석 중심 시기에는 현업, 경영자를 위한 Data제공이 우선이 되었다면

  AI 모델링 중심 시기의 DataAnalyst 업무는 아래와 같습니다.

    1) AI Modeling을 위해 BigData 기반 Data분석 및 AI 학습 Data 제공

    2) 제공된 Data Process/Meaning/Insight(도메인 지식)를 Data Scientist와 공유

  특히 2)번 역할은 굉장히 중요합니다.

  데이터 프로세스 및 의미(도메인 지식)를 명확하게 알지 못한다면

  Data Scientist는 해당 업무에 맞는 AI Modeling이 어렵기 때문입니다.

  따라서 Data Analyst를 하시다가 AI기술을 배워 Data Scientist로 넘어가시는 분들도 많습니다.

[Data Scientist 역할]

Data Scientist의 역할은 아래와 같습니다.

    1. 제공된 AI Data 학습 통한 AI Modeling 수행

    2. Business Develop을 위한 AI서비스 개발

    3. BigData AI모델, 통계 기반 미래 지표 예측 및 Insight도출

[Data Scientist 업무 중요 고려사항]

Data Scientist 업무 수행시 가장 중요한 고려사항이라고 한다면

AI Modeling 뿐만 아니라 AI를 적용시키려는 Business에 대한 이해가 가장 중요합니다.

Business를 이해하지 못하고서는 AI Modeling이 정확히 되지 않기 때문입니다.

Business 이해는 Data Analyst와 공통적인 부분인데

서로 협의하여 Data에 대한 명확한 의미를 파악하는 것이 무엇보다도 중요합니다.