앞에서는 넷플릭스 내에서의 사용자 행동을 파악하기 위해 통계 및 머신러닝을 이용한 분석을 진행했습니다. 이는 사용자 행동의 '현상'만을 이해한 것입니다. 데이터를 기반으로 정량적인 모델링을 진행하면, 자극에 대한 '반응(현상)'을 살피는 행동주의 관점을 따를 수밖에 없기 때문입니다.
그런데 종종 연구자들은 행동의 '현상'보다 행동 뒤의 '의도'를 궁금해 하기도 합니다. 이는 로그 자체만을 들여다 보는 것만으로는 이해하기 어렵습니다. 따라서 행동을 기반으로 동기나 만족을 추가적으로 질문하여 내적 상태를 읽어내는 과정이 필요합니다.
이를 알기 위해서는 사용자의 목소리를 직접 듣는 인터뷰를 진행해야 합니다. 단, 그냥 인터뷰가 아닌 'Elicitation 인터뷰'로 말입니다.
Elicitation : 1. (정보, 답변등을) 도출해내다 2. (잠재적인 것을) 이끌어내다 — Webster Dictionary
Elicitation 인터뷰는 데이터를 기반으로 회고(recall)을 돕는 인터뷰 방법입니다.
전통적 인터뷰는 사용자의 인지와 기억에 따라 답변이 왜곡될 확률이 높습니다. 그러나 elicitation 인터뷰는 객관적인 데이터를 사용하기 때문에 이 점을 보완할 수 있습니다.
또한, 양적연구에서는 '행동 의도'—예컨대 넷플릭스 데이터에서 브라우징을 많이 한 이유—를 파악할 수 없었습니다. 그런데 elicitation 인터뷰를 진행한다면 행동의 숨은 의미를 파악하는 데에도 용이하죠.
데이터의 측면에서 보면, elicitation 인터뷰는 생성된 데이터와 생성자 사이의 갭을 채워줍니다. 수집된 데이터가 어떤 의도로 수집되었는지 더 자세히 알 수 있으므로 그 데이터들의 성질을 더 잘 이해할 수 있도록 해주기 때문입니다.
Elicitation을 위해 사용될 로그 데이터를 선정하는 것은 연구자의 재량이지만, 저희 연구실에서는 주로 연구 진행 시점 이전에 이미 쌓여 있는 데이터를 기반으로 인터뷰를 진행하는 것을 선호합니다. 인터뷰 진행을 목적으로 데이터를 쌓아 달라고 안내할 경우 실험 효과가 개입되어 데이터가 왜곡될 위험이 있기 때문입니다.