빅데이터에 대한 관심이 수집과 저장을 하는 하둡이라는 기술에서 저장되어 있는 데이터를 분석하여 업무에 유용한 성과를 얻어내는 인공지능, 머신러닝 및 딥러닝과 같은 분석으로 옮겨지면서 한 가지 문제가 생겼다. 기존에도 고객관계관리 Customer Relationship Management, CRM 등 많은 분석을 해왔던 기업들이 기존 분석과 빅데이터 분석의 차이점에 대한 의문을 끊임없이 제기한 것이다.
대부분 기업들은 통계적 목적을 가지고 데이터를 분석했다. 그러나 빅데이터의 등장으로 이제는 통계적 목적뿐 아니라 과거에 불가능하다고 생각했던 분석 목적들도 달성할 수 있게 됐다. 세계 3대 경영전략 애널리스트로 꼽히는 토머스 데븐포트 Thomas H. Davenport 미국 뱁슨대학 교수가 주장한 분석의 네 가지 목적을 보면, 기업 관점에서 빅데이터로 얻을 수 있는 추가적인 목적이 무엇인지 알 수 있다.
토머스 데븐포트는 분석 목적을 학문적이고 기술적인 측면에서 설명했기 때문에 이를 실제 비즈니스 관점에서 현장 경험을 기반으로 정의를 재해석했다.
1. 통계적 분석
통계분석은 빅데이터의 가장 기본적인 목적이다. 따라서 이 목적으로만 빅데이터를 활용하고자 한다면 차원의 저주로 데이터 양이 부족하여 회귀분석 알고리즘 사용 시 부정확한 결과가 나왔던 문제들을 해결할 정도로만 사용할 수 있을 것이다. 빅데이터가 줄 수 있는 보다 큰 혜택을 받고 싶다면 새로운 활용 목적을 설정해야 한다.
2. 확률적 예측분석
과거 데이터에 기반한 확률적 예측분석이란 과거 소비 데이터를 기반으로 어떤 소비를 할 가능성이 높은지 확률적으로 예측할 수 있다는 것이다. 사람들이 토요일에 특정 소비를 반복적으로 하는 경향이 있다면 과거 소비 데이터를 분석해서 토요일에 주로 소비하는 업종별로 소비 확률을 산출할 수 있다. 매주 토요일마다 소비 패턴이 다르다면 주 단위의 업종별 소비 확률까지 알아낼 수 있을지도 모른다.
3. 인지분석
데이터 분석 관점에서 ‘인지’는 정형화된 규칙과 사물을 표현할 때 어떤 특징으로 표현할지 찾는 것이다. 좀 더 간단히 설명하면, 정형화된 규칙이나 어떤 사물에 대한 인식을 배우는 과정이다. 인간도 학습을 통해 사물을 인지하듯 머신도 학습을 통해 인간과 동일한 인지를 할 수 있음을 의미한다.
금융사들이 주목하는 것은 전문가보다 새로운 규칙을 빨리 찾아 낼 수 있는 머신러닝 알고리즘의 등장이다. 머신러닝 기법을 활용하면 비즈니스 방식의 변화로 발생하는 여러 가지 문제들을 머신이 스스로 학습하기 때문에 인간이 미처 발견하지 못한 규칙들까지 발견해서 부정 거래에 대응할 수 있다. 따라서 미래 업무 환경에서 전문가 시스템의 기존 규칙은 머신이 발견한 지식 으로 대체되고, 머신이 발견한 지식을 업무 전문가가 검토해서 규칙으로 추가할지 여부를 결정하는 방식으로 변화할 것이다. 인간이 머신의 인지분석능력을 받아들여 협업하는 형태가 되는 것이다.
빅데이터를 인지분석 목적으로 활용한다면 업무 전문가의 도움을 받는 머신러닝 알고리즘은 수집된 빅데이터를 기반으로 사람이 찾지 못하거나 사람이 분석하기에 너무 세분화된 규칙을 빠른 속도로 찾아낼 수 있다. 빅데이터로 인지분석을 할 수 있는 수준까지 활용도를 높이면 업무 처리 속도가 매우 빨라지면서 확실한 비용절감 효과를 얻을 수 있다.
4. 자동화된 의사결정
아직까지는 머신이 의사결정의 주체가 된다는 사실을 받아들일 사회적 공감대가 형성되지 않았다. 하지만 테슬라가 오토파일럿이라는 반 자율주행 알고리즘을 자동차에 장착한 후 벤츠, BMW 등 세계 유수의 자동차 회사들이 신속하게 반 자율주행자동차 시장에 뛰어들고 있다. 완전 자율주행자동차가 세상에 등장하는 건 시간 문제다.
자동화된 의사결정 알고리즘은 아직까지 자율주행자동차에 집중되어 경쟁적으로 개발되고 있지만, 기업들이 자동화된 의사결정을 실제 업무에 적용하면 단순하지만 빠른 의사결정이 필요한 업무 영역부터 먼저 적용하려고 할 것이다. 인간은 정보가 아니라 직관에 따라 의사결정을 내리는 경우가 많기 때문이다. 이런 경우 잘못된 의사결정일 확률이 높다. 만약 머신이 의사결정을 한다면 인간처럼 직관에 따라 평가하지는 않을 것이다. 로봇의 도입으로 제조업의 생산성이 향상됐듯, 자동화된 의사결정을 목적으로 빅데이터를 활용한다면 마케팅을 비롯한 인간만이 할 수 있던 업무 영역의 생산성도 높아지며 기존 비즈니스에 많은 변화가 발생할 것이다.
힘내세요!
답글삭제