행동을 그려내기 위한 방법 — '클러스터링'

• 대표적인 로그 데이터인 서버 데이터는 디테일이 풍부하고, 방대한 양으로 존재합니다. 이 데이터는 사용자의 세세한 행동을 모두 기록하고 있습니다. 언제 클릭했는지, 어디를 클릭했는지, 무엇을 시청했는지 등 웹/앱에서 벌어진 일련의 활동이 시간 순으로 기록되어 있습니다.

• 이제 우리에게 필요한 것은 고고학자의 상상력입니다. 공룡의 뼈를 보고 공룡의 모습을 그려내듯, 로그 데이터를 보고 사용자의 행동을 그려내면 됩니다.

• 로그 데이터 분석에는 통계적 기법—특히 클러스터링 방법이 사용됩니다. 흩어져 있는 개별 데이터는 의미가 없습니다. 데이터를 적절히 뭉쳐서 행동 단위(공룡의 뼈 조각)로 만들고, 비슷한 행동 패턴을 발견해내야 비로소 사용자의 행동이 보이기 시작합니다. 이렇듯 데이터를 행동으로 만들어내는 데에는 클러스터링 방법이 제격입니다.

• 로그 기반 클러스터링은 크게 4단계로 이루어집니다.

1. 개별 데이터를 세션으로 뭉치고, 2) 세션을 설명할 수 있는 피쳐를 만들고, 3) 세션을 클러스터링한 다음, 4) 도출된 클러스터에 행동 성격을 부여합니다. 이렇게 도출된 각 클러스터는 사용자의 행동을 의미하게 되죠.

• 이 포스트에서는 '로그기반 넷플릭스 사용자 분석' 사례와 함께 각 단계를 자세히 살펴보겠습니다. 우리는 '넷플릭스 사용자의 행동 패턴에 맞춰진 adaptive UI를 설계한다'라는 가상의 연구 문제를 가지고 출발하기로 했습니다.

0) 데이터 수집하기:

• 본격적으로 들어가기에 앞서 데이터에 대해 이야기하고자 합니다.
• 앞선 포스트에서 다뤘듯이, 로그 데이터의 종류는 다양합니다. 그중 클러스터링을 사용하기에 적합한 로그 데이터는 '미시 시간으로 기록된 데이터'입니다. 너무 짧고 자연스럽게 일어나서, 인간이 인지조차 하지 못하는 인터랙션이 기록되어 있어야 합니다.

이러한 데이터는 보통 무수히 많이 쌓이게 됩니다. 그리고 개별 데이터보다는 데이터들의 뭉치가 특정한 의미를 나타내기 마련입니다. 따라서 클러스터링 방법을 활용한 로그 데이터 분석이 빛을 발할 수 있죠.

• 이러한 형태의 로그 데이터는 웹/앱의 사용 로그, 웨어러블 디바이스 등의 기기로 측정한 바이오 로그 등이 있습니다. 우리가 넷플릭스 사용자의 사용 로그 데이터 분석을 예시로 보여드리는 이유도 여기에 있습니다.