티스토리 뷰
빅데이터(Big Data)란 용어와 개념이 국내에 회자되기 시작한 시점을 대략 2011년 즈음으로 기억합니다. 또 그 즈음부터 각종 미디어와 서적들이 밀물 몰려오듯 앞다투어 정보를 전하기 시작했고, 2018년 현재에는 Big Data라는 용어를 일흔이 넘으신 저희 아버지도 한 번쯤은 들어보셨을 만큼, 매우 일반화된 느낌입니다. 느낌적인 느낌? 이렇게 용어와 개념이 보편화 된 요즘, 여기저기서 빅데이터를 기반으로 서비스를 만들었다던지, 빅데이터를 활용해서 뭔가를 했다던가 하는 소식이 종종 들리고 있습니다. 하지만 여전히 적지 않은 현업 종사자들은 빅데이터에 대해 Big과 Data의 합성어 정도로 생각하는 경우가 많고 그 의미도 "어마어마하게 많은 데이터"정도로 생각하는 경향이 있습니다.
물론 이것이 완전히 틀린 의미는 아니지만, 단순히 많거나 큰 데이터 정도의 스탠스로만 바라본다면 빅데이터의 본질적인 가치를 놓치게 될 가능성이 높습니다. 아래는 빅데이터가 무엇인지 이해를 돕기 위한 활용사례입니다.
미국 국세청은 2011년 대용량 데이터와 IT기술을 결합해 ‘통합형 탈세 및 사기 범죄 방지 시스템’을 구축했다. 사기 방지 솔루션으로 이상 징후를 미리 찾아냈는데, 예측 모델링을 통해 납세자의 과거 행동 정보를 분석한 다음 사기 패턴과 유사한 행동을 검출했다. 그 뒤 페이스북이나 트위터를 통해 범죄자와 관련된 계좌, 주소, 전화번호, 납세자 간 연관관계 등을 분석해 고의 세금 체납자를 찾아냈다. 이 과정에서 미 국세청은 오픈소스 기반의 대용량 데이터 처리 소프트웨어인 하둡(Hadoop) 등을 적용해 저렴한 비용으로 데이터를 분석했고 그 결과 연간 3,450억 달러에 이르는 세금 누락을 막아냈다. - 네이버 지식백과 발췌
이러한 활용사례에서 보듯 빅데이터는 서비스 내 고객 개개인의 움직임과 활동을 이를 토대로 정의되는 수치 기반의 데이터(정형화된 데이터1)와 모바일기기 사용자 간 상호의견 교류를 통해 발생, 누적되는 커뮤니케이션 데이터(비정형화된 데이터2)를 마이닝하는 과정을 거쳐, 과거에는 불가능하거나 생각하지 못했던 일들이 가능해지는 상황이 점차 가까이 다가오고 있습니다.
우리가 보통 빅데이터를 이야기 할 때 따라붙는 오해 중 하나가 "빅데이터는 기술적 영역이고 이를 구현하기 위해서는 막대한 비용이 들어가기 때문에 작은 기업에서는 엄두를 낼 수 없는 영역이다."입니다. 물론 완전히 틀린 말은 아닙니다. 하지만 기술적인 영역이라고 해서 기획적 접근이 없어도 된다는 것은 아닙니다. 또한 스타트업이라 할 지라도 얼마든지 빅데이터 기반의 비즈니스를 이끌어 낼 수 있습니다. 다만, 부족한 경험과 함께 추상적으로만 이해했던 빅데이터의 개념만으로는 설계에 필요한 아이디어를 도출하는 것조차 힘들 수 있다는 것이 문제라면 문제일 수 있겠죠.
그러렇다면 여기서 빅데이터 기반 서비스를 설계/기획하기 위해 무엇을 공부할까요? 그리고 이와 관련된 아이디어를 어떻게 도출하고 어떻게 구현할 수 있을까요? 빅데이터를 기반으로 하는 서비스 기획자가 알아둬야 할 범주는 일반적인 서비스기획 지식 이상의 것을 요구합니다. 더불어 기존에 머릿 속을 가득 채웠던 UI/UX를 내려놓은 것은 덤이죠.
오늘부터 연재를 시작하는 "BigData Insight Trip"은 웹/모바일 서비스에 빅데이터 환경을 입히는 과정에서 알아둬야 할 내용과 빅데이터를 이루는 정형화 데이터, 비정형화 데이터를 서비스에 어떻게 반영할 것인가에 대한 고민들을 알기 쉽게 풀어갈 예정이니, 많은 기대 부탁드립니다.
야메군. Web와 Mobile, Digital 카테고리 SME(Subject Matter Expert). 웹기획 18년차로 네이버 웹기획자 커뮤니티 "웹(WWW)를 만드는 사람들"에서 운영진으로 활동하고 있으며, 딴지일보를 시작으로 아이러브스쿨, 짱공유닷컴, YES24 등의 회사를 거쳐, 민간 IT 원천기술 연구소 "Valhalla Lab"에서 Pattern recognition과 Machine learning, Natural Language Processing 기술의 상업적 이용방법에 대해 연구. 현재 하나투어에서 데이터 기반 서비스 설계 중. 2016년 7월 7일, 웹/모바일 기획자의 업무능력 향상으로 위한 Guide Book "처음부터 다시배우는 웹기획(정재용, 최준호, 조영수 공저)" 출간.