[2-1. 데이터 분석 기획의 이해] 3. 분석과제 발굴 방법론

1. 분석과제 발굴 방법론
1) 개요
- 분석과제는 풀어야 할 다양한 문제를 데이터 분석 문제로 변환한 후 관계자들이 이해하고 프로젝트로 수행할 수 있는 과제 정의서 형태로 도출
- 분석과제를 도출하기 위한 방식으로는 크게 하향식 접근 방법 과 상향식 접근 방법
- 하향식 접근방식 : 문제가 주어져 있는 상태에서 답을 구하는 방식으로 전통적으로 수행되었던 분석과제 발굴 방식
- 하향식 접근방식의 문제점 : 대규모의 다양한 데이터를 생성하고 빠르게 변하는 기업환경에서는 문제 자체의 변화가 심해 정확하게 문제를 사전에 정이하는 것이 어려움
- 실제로는 중요한 의사결정을 할 때 하향식 접근방법과 상향식 접근방법이 혼용되어 사용된다
- 분석의 가치를 높일 수 있는 최적의 의사결정은 두 접근 방식이 상호 보완 관계에 있을 떄 가능
- 디자인 사고 (Design Thinking) : 상향식 접근 방식의 발산단계와 하향식 접근 방식의 수렴단계를 반복적으로 수행하는 상호 보완적인 동적 환경 -> 최적의 의사 결정 방식 즉, 발산과 수렴의 반복 다이아몬드 형태의 모양

 

                                    
2) 하향식 접근법 (Top Down Approach)
- 하향식 분석 접근법은 현황 분석을 통해 기회나 문제를 탐색하고, 해당 문제를 정의, 해결방안을 탐색 한다
- 데이터 분석의 타당성 평가를 거쳐 분석 과제를 도출한다

> 문제탐색(비즈니스 모델기반 문제탐색/외부사례기반 문제탐색(=벤치마킹)) 

> 문제정의(데이터분석 문제변환) 

> 해결방안탐색(수행옵션도출) 

> 타당성검토(타당성평가/과제선정)

1 - 문제탐색(Problem Discovery)단계 -> 하향식 접근법 1단계
- 전체적인 관점의 기준 모델을 활용하여 빠짐없이 문제를 도출하고 식별하는 것이 중요
- 전체적인 관점의 기준 모델로는 기업 내,외부 환경을 포괄하는 비즈니스 모델과 외부 참조 모델이 존재
- 과제 발굴 단계에서는 세부적인 구현 및 솔루션에 초점을 맞추는게 아니라, 문제를 해결함으로써 발생하는 가치에 중점을 두는 것이 중요

가) 비즈니스 모델 기반 문제 탐색
- 기업 내,외부 환경을 포괄하고 있는 비즈니스 모델이라는 틀을 활용하여 비즈니스모델 캔버스 9가지 블록을 단순화하여 업무, 제품, 고객 단위로 문제를 발굴
- 이를 관리하는 두 가지의 영역인 규제와 감사영역과 지원 인프라영역에 대한 기회를 추가로 도출하는 작업을 수행
(비즈니스 모델 캔버스 채널의 특징)
-기업이 제공하는 상품이나 서비스에 대한 고객의 이해를 높임
- 기업이 전달하는 밸류 프로포지션을 고객들이 평가할 수 있도록 함
- 고객이 특정한 상품이나 서비스를 구매하게 도와줌
- 고객에게 밸류 프로포지션을 전달
- 구매 고객에 대한 애프터 서비스를 제공

- 1.업무 > 2.제품 > 3.고객 > 4.규제&감사 > 5.지원 인프라

1) 업무 (Operation)
- 제품 및 서비스를 생산하기 위해서 운영하는 내부 프로세스 및 주요 자원 관련 주제도출
- 생산 공정 최적화, 재고량 최소화 등

2) 제품 (Product)
- 생산 및 제공하는 제품,서비스를 개선하기 우한 관련 주제 도출
- 제품의 주요기능 개선
- 서비스 모니터링 지표도출 등

3) 고객 (Customer)
- 제품, 서비스를 제공받는 사용자 및 고객, 이를 제공하는 채널의 관점에서 관련주제 도출
- 고객 Call대기 시간 최소화, 영업점 위치 최적화

4) 규제와 감사 (Regualtion&Audit)
- 제품 생산 및 전달과정 프로세스 중에서 발생하는 규제 및 보안의 관점에서 주제 도출
- 제공 서비스 품질의 이상징후 관리, 새로운 환경 규제 시 예상되는 제품 추출 등

5) 지원 인프라 (IT&Human Resources)
- 분석을 수행하는 시스템 영역 및 이를 운영,관리하는 인력의 관점에서 주제도출
- EDW 최적화, 적정운영인력도출 등 

나) 분석 기회 발굴의 범위 확장

1) 거시적 관점의 메가트랜드
- STEEP으로 요약되는 Social(사회), Technological(기술), Economic(경제), Environmental(환경), Political(정치) 영역의 폭넓게 나눈다

- Social(사회) : 사회적, 문화적, 구조적 트렌드 변화에 기반한 분석. 노령화, 밀레니엄세대등장, 저출산에 따른 사업모델변화
- Technological(기술) : 변화에 따른 역량 내 재화와 제품,서비스 개발. 나노깃ㄹ, IT융합기술, 로봇기술의 고도화
- Economic(경제) : 산업과 금융 전바의 변동설 및 경제구조변화 동향. 원자재가격, 환율, 금리변동에 따른 구매전략
- Environmental(환경) : 환경과 관련된 정부, 사회단체, 시민사회의 관심과 규제동향. 탄소배출규제 및 거래시장 등장에 따른 원가절감등
- Political(정치) : 주요 정책방향, 정세, 지정학적동향. 대북관계에 따른 원자재 구매 거래선의 다변화 등

2) 경쟁자 확대 관점

- 대체재 : 융합적인 경쟁 환경에서 온라인으로 제공하는 것에 대한 탐색 및 잠재적 위험을 파악. 오프라인 -> 온라인(위협)
- 경쟁자 : 주요 경쟁자에 대한 동향을 파악. 주요 경쟁자의 카탈로그 및 전략분석을 통한 잠재적 위협 파악
- 신규 진입자 : 파괴적인 역할을 수행 할 수 있는 신규 진입자에 대한 동향 파악. 새 제품에 대한 클라우드 소싱 서비스인 스타터의 유사제품을 분석

3) 시장의 니즈 탐색 관점
- 고객 : 고객의 구매동향 및 고객의 컨텍스트를 더욱 깊게 이해 -> 제품,서비스의 개선에 필요한 분석기회도출 > 예 철강기업인 경우 조선산업과 자동차 산업의 동향 파악
- 채널 : 영업사원, 직판, 대리점, 홈페이지 등 자체적인 채널뿐만 아니라 고객에게 제품,서비스를 전달가능한 경로를 파악,분석기회탐색 > 예 은행의 경우 인터넷 전문은행등 온라인 채널의 분석
- 영향자 : 주주, 투자자, 협회 및 기타 이해관계자의 주요 관심사항에 대해서 파악하고 분석 > 예 M&A시장 확대에 따른 유사업종의 신규기업 인수 기회탐색

4) 역량의 재해석 관점
- 내부 역량 : 중요하면서도 자칫 간과하기 쉬운 지식, 기술등이 노하우와 인프라적인 유형 자산에 대해서 재해석, 분석 >예 자사 소유 부동산을 활용한 부가 가치 창출 기회 발굴
- 파트너와 네트워크 : 밀접한 관계를 유지하고 있는 관계사와 공급사 등의 역량을 활용해 수행 할 수 있는 기능을 파악, 분석 > 예 수출입, 통관, 노하우를 활용한 추가 사업기회 탐색

다) 외부참조 모델기반 문제탐색
- 유사, 동종 사례 벤치마킹을 통한 분석기회 발굴은 제공되는 산업별, 업무 서비스별 분석 테마 후보 그룹을 통해 "Quick&Easy"방식으로
필요한 분석기회가 무엇인지에 대한 아이디어를 얻고, 기업에 적용할 분석테마 후보 목록을 워크숍 형태의 브레인스토밍을 통해 빠르게 도출하는 방법
-> 교통, 안전, 행정, 보건, 복지, 도시, 병역, 일자리, 정책, 정치, 환경, 기타
- 데이터분석을 통한 인사이트를 도출하고 업무에 활용하는 사례들을 발굴하고, 자사의 업종 및 업무 서비스에 적용하며 평상시 지속적인 조사와 데이터분석을 통한
가치발굴 사례를 정리하여 풀로 만들어 둔다면 과제 발굴 및 탐색시 빠르고 의미있는 분석 기회도출이 가능하다

라) 분석 유즈 케이스 (Analytics Use Case)
- 풀어야 할 문제에 대한 상세한 설명 및 해당 문제를 해결했을 때 발생하는 효과를 명시함으로써 향후 데이터 분석 문제로의 전환 및 적합성 평가에 활용
-예 재무 > 자금 시재 예측 > 자금 과부족 현상 예방
    고객 > 서비스 수준 유지 > 품질수준 재고
    판매 > 파이프라인 최적화 > 목표매출 달성, 고객반응률 향상


2 - 문제 정의 (Problem Definition)단계 -> 하행식 접근법 2단계
- 식별된 비즈니스 문제를 데이터의 문제로 변환하여 정의 하는 단계
- 앞서 수행한 문제 탐색의 단계가 무엇을(What) 어떤 목적으로(Why)수행해야 하는지에 대한 관점이였다면, 
- 본 단계에서는 이를 달성하기 위해서는 필요한 데이터 및 기법(How)을 정의하기 위한 데이터 분석의 문제로의 변환을 수행 
- 데이터 분석 문제의 정의 및 요구사항 : 분석을 수행하는 당사자뿐만 아니라 해당 문제가 해결되었을 때 효용을 얻을 수 있는 최종사용자 관점에서 이루어져야 한다
- 예 고객이탈증대 > 고객의 이탈에 영향을 미치는 요인을 식별하고 이탈 가능성을 예측


3 - 해결방안 탐색 (Solution Search)단계 -> 하향식 접근법 3단계
- 이 단계에서는 정의된 데이터 분석 문제를 해결하기 위한 다양한 방안이 모색된다
- 기존 정보시스템의 단순한 보완으로 분석이 가능한지 고려
- 엑셀 등의 간단한 도구로 분석이 가능한지 고려 
- 하둡 등 분산병렬처리를 활용한 빅데이터 분석 도구를 통해 보다 체계적이고 심도있는 방안 고려
- 분석역량을 기존에 가지고 있는 지의 여부를 파악하여 보유하고 있지 않은 경우, 교육이나 전문인력 채용을 통한 역량 확보 또는 분석 전문업체를 활용하여 과제를 해결하는 방안에 대해 사전 검토

4 - 타당성 검토 (Feasibility Study) ->  하향식 접근법 4단계
- 도출된 분석문제나 가설에 대한 대안을 과제화라기 위해서는 다각적인 타당성분석이 수행되어야 한다
가) 경제적 타당성
- 비용대비 편익 분석 관점의 접근이 필요
- 비용항목은 데이터, 시스템, 인력, 유지보수 등과 같은 분석 비용으로 구성
- 편익으로는 분석 결과를 적용함으로써 추정되는 실질적 비용절감, 추가적 매출과 수익등과 같은 경제적 가치로 산출

나) 데이터 및 기술적 타당성
- 데이터 분석에는 데이터 존재여부, 분석시스템환경, 분석역량이 필요
- 기술적 타당성 분석시 역량 확보 방안을 사전에 수립하고 이를 효과적으로 평가하기 위해서는 비즈니스 지식과 기술적 지식이 요구 
- 타당성 검토를 통해 도출된 대안을 통해 
    -평가 과정을 거쳐 가장 우월한 대안을 선택한다
    -도출한 데이터 분석 문제 및 선정된 솔루션 방안을 포함한다
    -분석과제 정의서의 형태로 명시하는 후속작업을 시행한다
    -프로젝트 계획의 입력물로 활용한다


3) 상향식 접근법 (Bottom-Up Approach)
1 - 정의 
- 다양한 원천 데이터로부터 분석을 통하여 통찰력과 지식을 얻는다
- 다양한 원천데이터를 대상으로 분석을 수행하여 가치있는 모든 문제를 도출하는 일련의 과정

2 - 기존 하향식 접근법의 한계를 극복하기 위한 분석 방법론
- 기존 접근방법인 논리적인 단계별 접근법은 문제의 구조가 분명하고 문제를 해결하고 해결책을 도출하기 위한 데이터 분석가 및 의사결경자에게 주어져 있음을 가정
    > 솔루션 도출에는 유효하지만 새로운 문제의 탐색에는 한계가 있음
- 기존의 논리적인 단계별 접근법 기반의 문제해결 방식은 최근 복잡하고 다양한 환경에서 발생하는 문제에는 적합하지 않음
- 디자인 사고 접근법(Design Thinking)을 통해서 전통적인 분석적 사고를 극복하려고 한다
- 통상적인 관점에서 분석적으로 사물을 인식하려는 Why가 아닌, 답을 미리 내는 것이 아니라 사물을 있는 그대로 인식하는 What 관점에서 보아야 한다
- 객관적으로 존재하는 데이터 그 자체를 관찰하고 실제적으로 행동에 옮김으로써 대상을 좀 더 잘 이해하는 방식으로 접근
- 첫 단계로 감정이입(Empathize)을 특히 강조한다

3 - 비지도 학습과 지도학습
가) 비지도 학습 (Unsupervised Learning)
- 일반적으로 상향식 접근방식의 데이터 분석은 비지도 학습 방법에 의해 수행된다
- 비지도 학습은 데이터 분석의 목적이 명확히 정의된 형태의 특정 필드의 값을 구하는 것이 아니라 데이터 자체의 결합, 연관성, 유사성등을 중심으로 데이터의 상태를 표현하는 것
- 비지도 학습의 데이터마이닝 기법의 예) 장바구니 분석, 군집 분석, 기술 통계 및 프로파일링 등

나) 지도학습   
- 명확한 목적 하에 데이터분석을 실시하는 것
- 분류, 추측, 예측, 최적화를 통해 사용자의 주도하에 분석을 실시하고 지식을 도출하는 것이 목적
- 통계적 분석에서는 인과관계 분석을 위해 가설을 설정하고 이를 검정을 실시하는 방식으로 문제 해결
- 빅데이터 환경에서는 논리적인 인과관계 분석뿐만 아니라 상관관계 분석 또는 연관 분석을 통하여 다양한 문제 해결
- 인과관계로부터 상관관계 분석으로 이동이 빅데이터 분석에서의 주요 변화라고 할 수 있다
- 다량의 데이터 분석을 통해서 "왜" 그로한 일이 발생하는지 역으로 추적하면서 문제를 도출하거나 재정의 할 수 있는 것이 상향식 접근법이다

다) 지도학습 VS 비지도학습
- o와x를 구분 짓게 하는 분류는 지도학습, 인자들 간의 유사성을 바탕으로 수행하는 군집합은 비지도 학습
- 지도학습의 경우 결과로 도출되는 값에 대하여 사전에 인지하고 어떠한 데이터를 넣었을 때 어떠한 결과가 나올지를 예측
- 비지도 학습의 경우 목표 값을 사전에 정의하지 않고 데이터 자체만을 가지고 그룹들을 도출

4 - 시행착오를 통한 문제 해결
가) 정의
- 프로토타이핑 접근법은 사용자가 요구사항이나 데이터를 정확히 규정하기 어렵고 데이터 소스도 명확히 파악하기 어려운 상황에서 일단분석을 시도 > 반복적으로 개선해 나가는 방법
- 프로토타이핑 방법론은 비록 완전하지는 못하다 해도 신속하게 해결책이나 모형을 제시 > 문제를 좀 더 명확하게 인식하고 필요한 데이터를 식별하여 구체화 > 상향식 접근 방식
- 프로토타이핑 접근법의 기본적인 프로세스는 1.가설의 생성 2.디자인에 대하 실험 3.실제환경에서의 테스트 4.테스트 결과에서의 통찰도출 및 가설 확인으로 구성
- 하향식 접근방식은 문제가 정형화되어 있고 문제해결을 위한 데이터가 완벽하게 조직에 존재할 경우에 효과적

나) 빅데이터 분석 환경에서 프로토타이핑의 필요성
- 문제에 대한 인식 수준 : 문제정의가 불명확, 새로운 문제일 경우 프로토타입을 이용하여 문제를 이해하고, 이를 바탕으로 구체화하는데 도움
- 필요 데이터 존재 여부의 불확실성 : 문제해결을 위해 필요한 데이터의 집합이 모두 존재하지 않을 경우, 사용자와 분석가 간의 반복적이고 순환적인 협의과정이 필요
    > 대체 불가능한 데이터가 존재하는지 사전에 확인한다면 불가능한 프로젝트를 수행하는 리스크를 사전에 방지
- 데이터 사용 목적의 가변성 : 데이터의 가치는 지속적으로 변화할 수 있다. 따라서 조직에서 보유중인 데이터라 하더라도 기존의 데이터 정의를 재검토하여 데이터의 사용 목적과 범위를 확대
    > 예 이동통신사에서 수집하는 위치데이터는 사용자의 호출을 효율적으로 처리 뿐만아니라 특정시간에 많이 모이는 장소를 분석하는데도 사용


4) 분석과제 정의
- 분석과제 정의서를 통해 분석별로 필요한 소스데이터, 분석방법, 데이터 입수 및 분석의 난이도, 분석 수행주기, 분석결과에 대한 검증 오너십, 상세분석과정 등을 정의
- 분석 데이터 소스는 내,외부의 비구조적인 데이터와 소셜 미디어 및 오픈 데이터까지 번위를 확장하여 고려하고 분석방법 또한 상세하게 정의한다