데이터 분석이란?

데이터 분석?

데이터란, 어떤 사실에 대한 측정이나 관찰을 통해 모아놓은 값들의 모음을 말합니다. 보통 ‘모음’이라는 사실을 강조하기 위해 ‘데이터셋(data set)’이라는 표현도 많이 쓰입니다.

분석이란, 어떤 대상을 더 잘 이해하기 위해, 이를 나누고 쪼개는 것을 말합니다.

즉 데이터 분석이란, 어떤 대상에 대한 사실을 설명하는 값의 모음을 유효적절한 방법으로 나누고 쪼개서 그 대상을 더 잘 이해하는 것이라고 할 수 있습니다.

빅 데이터에 대한 탐색적 데이터 분석

탐색적 데이터 분석(EDA. exploratory data analysis)은 기계 학습, 자연어 처리, 패턴 인식 등 모든 데이터 과학의 출발점이라고 할 수 있습니다. 이는 각종 통계적 기법을 적용하여 데이터의 주요 특징을 발견하고, 이를 시각화하여 표현하는 일련의 과정을 포괄합니다.

본 수업에서는 이 탐색적 데이터 분석 방법을 배울 것이며, 이를 곧 ‘데이터 분석’으로 지칭할 것입니다.

데이터 분석의 가치

1. 버락 오바마 미국 대통령의 재선 사례

오바마 선거 캠프에서는 유권자들의 64%가 인터넷을 사용하여 대선 후보자들의 발언의 진위 여부를 조사한다는 연구 결과에 주목하여, 유권자들이 구글에서 어떤 검색어를 사용하였을 때 선거 캠프 웹 페이지로 가장 많이 유입되는지를 데이터 분석을 통해 실시간으로 조사하였습니다.

데이터 분석에 기반한 이러한 전략은, 결과적으로 버락 오바마의 재선을 성공시키는 주된 요인으로 작용하였습니다.

2. 아마존의 추천 시스템 사례

온라인 서점으로 유명한 아마존에서는 고객들이 이전에 구매했던 서적 데이터에 대한 분석을 통해, 해당 고객과 유사한 구매 성향의 고객들이 구매한 서적을 추천해 주는 방식으로 자체적인 추천 시스템을 구축하였습니다.

이 추천 시스템 도입으로 인한 매출은, 오늘날 아마존이 서적 판매를 통해 거둬들이는 전체 매출의 35% 가량을 차지한다고 합니다.

3. 2014 브라질 월드컵에서의 독일 국가대표 축구팀 사례

독일축구협회에서는 SAP AG 측으로 독일 국가대표 축구팀의 경기 영상을 촬영한 비디오 데이터와, 선수 개인별 기록 데이터, 팀 기록 데이터 등에 대한 분석을 의뢰하였습니다. SAP AG 측에서는 해당 데이터에 대한 분석을 통해 선수 개인의 기량을 어떻게 향상시킬 수 있을지, 팀워크를 어떻게 향상시킬 수 있을지에 대한 디테일한 피드백을 제공하였습니다.

그 결과, 독일 대표팀은 준결승전에서 홈 팀인 브라질을 7:1로 대파하고, 결승전에서 아르헨티나마저 꺾어버리는 놀라운 성적을 보였습니다.

‘빅 데이터’의 등장

빅 데이터(big data)는, 양이 너무 많고 복잡해서, 통상적으로 사용되는 데이터 분석 방법이 잘 적용되지 않는 데이터를 의미합니다.

통계 이론의 핵심적인 이론인 ‘큰 수의 법칙(law of large numbers)’에 의하면, 표본의 크기가 커질수록 그 데이터의 평균이 실제 모집단 데이터의 평균에 가까워진다는 사실이 알려져 있습니다. 이는 양면으로 구성된 동전을 더 많이 던질수록, 전체 던진 횟수 대비 앞면이 나온 횟수의 비율이 (이론적으로 동전의 앞면이 나올 확률인) 0.5에 가까워진다는 결과를 통해 확인할 수 있습니다.

이 법칙을 데이터의 측면에서 바라보면, 어떤 대상과 관련된 사실의 단면을 보여주는 데이터의 양이 많을수록, 분석을 통해 대상에 대한 이해를 보다 사실에 가깝게 할 수 있을 가능성이 높아진다는 것을 입증하고 있습니다. 다시 말해, 데이터의 양이 많아지면서 빅 데이터에 가까워질수록, 분석 결과를 ‘일반화(generalization)’하기가 더 수월해진다는 것입니다.

이 때문에 데이터 분석을 하고자 하는 사람들의 입장에서는 “어떻게 하면 더 많은 데이터를 수집할 수 있을까?”가 항상 화두였는데, 오늘날 기술의 발전으로 데이터가 축적되는 속도 자체가 매우 높아졌으며, 이로 인해 동일한 시간과 노력을 들이더라도 더 많은 데이터를 수집하는 것이 가능해졌습니다.

오늘날, 분야를 막론하고 빅 데이터에 대한 분석은 가히 일의 성패를 좌우할 수 있는 중요한 과제로 부각되고 있습니다.