1. 그 정책, 정말 효과가 있었을까?

정책을 시행하거나 새로운 마케팅 캠페인을 론칭한 뒤, 우리는 흔히 이런 질문을 던집니다. "그래서, 진짜 효과가 있었어?" 가장 단순한 확인 방법은 시행 전과 후의 수치를 비교하는 것입니다. 예를 들어, 특정 지역에 보조금을 지급한 뒤 해당 지역의 소비가 10% 늘었다면 우리는 보조금의 효과라고 믿고 싶어 합니다. 하지만 여기에 아주 위험한 함정이 숨어 있습니다. 만약 보조금과 상관없이 전국의 소비 트렌드가 원래 상승세였다면 어떨까요? 혹은 휴가 시즌이라는 계절적 요인이 겹쳤다면요? 단순히 '시간이 흘러서' 변한 것을 '정책 덕분에' 변한 것으로 오해하는 단순 전후 비교의 오류에 빠지게 되는 것입니다.

이러한 인과관계의 혼란을 잠재우고 정책의 '순수한 기여도'만을 발라내기 위해 고안된 방법론이 바로 이중차분법(Difference-in-Differences, DID)입니다. DID는 정책의 영향을 받은 처치 집단뿐만 아니라, 정책과 무관하게 동일한 시간을 보낸 통제 집단을 동시에 관찰합니다.

DID의 정의는 명쾌합니다. 처치 집단에서 나타난 변화량에서, 통제 집단이 겪은 자연적인 변화량을 한 번 더 빼주는(차분하는) 기법입니다. 이를 통해 외부 경기 변동이나 자연적인 시간의 흐름 같은 '잡음'을 제거하고, 오직 정책이라는 '처치'가 만들어낸 독립적인 인과적 효과만을 추출해냅니다.

본 글에서는 단순한 상관관계를 넘어, 데이터가 말하는 진정한 '인과관계'를 어떻게 증명할 수 있는지 DID의 논리 구조를 심층적으로 살펴보고자 합니다.

2. DID의 핵심 원리 - 두 번의 차이

DID 분석이 '이중차분'이라 불리는 이유는 말 그대로 두 번의 뺄셈을 통해 순수한 정책 효과를 발라내기 때문입니다. 이 과정은 마치 실험실에서 대조군과 실험군을 비교하듯, 현실 세계의 데이터를 정교하게 정제하는 작업과 같습니다.

① 첫 번째 차이: 시간의 흐름을 측정하다

가장 먼저 수행하는 작업은 각 집단이 시간이 흐름에 따라 어떻게 변했는지를 확인하는 것입니다.

• 처치 집단의 '시행 전' 수치와 '시행 후' 수치를 비교합니다.

• 동시에 통제 집단의 '시행 전' 수치와 '시행 후' 수치도 동일한 기간 동안 비교합니다. 이 단계에서는 단순히 "두 집단 모두 이만큼씩 변했구나"라는 시점 간의 변화량을 도출하게 됩니다.

② 두 번째 차이: 집단 간의 격차를 발라내다

이제 핵심인 두 번째 차분을 수행합니다. 처치 집단에서 나타난 총 변화량에서, 통제 집단이 겪은 변화량을 빼주는 것입니다.

• 만약 통제 집단이 자연적으로 5만큼 성장했는데, 정책을 시행한 처치 집단이 15만큼 성장했다면?

• 15(총 변화) - 5(자연적 변화) = 10(순수 정책 효과) 이 두 번째 차이를 통해 경기 변동이나 계절성 같은 '외부 잡음'이 제거되고, 오직 정책(처치)에 의해서만 발생한 순수한 인과적 효과가 모습을 드러냅니다.

③ 반사실: 가지 않은 길을 추론하다

DID의 가장 매력적인 지점은 바로 '반사실'을 시각화한다는 점입니다. 반사실이란 "만약 처치 집단에 정책이 시행되지 않았더라면 어떻게 되었을까?"라는 가상의 시나리오입니다.

• DID는 통제 집단의 변화 추세가 처치 집단에도 동일하게 적용되었을 것이라고 가정합니다.

• 즉, 그래프상에서 정책 시행 시점 이후에 통제 집단과 평행하게 그어지는 가상의 선이 바로 '반사실'입니다. 실제 관측된 데이터(정책 시행 후 결과)와 이 가상의 선(반사실) 사이의 간격이 넓을수록, 해당 정책이 만들어낸 실질적인 가치가 크다는 것을 의미합니다.

3. 분석의 성패를 가르는 핵심 전제 - 평행추세 가정

DID 분석은 강력한 도구이지만, 그 결과가 정당성을 얻기 위해서는 반드시 충족되어야 하는 '결정적 약속'이 하나 있습니다. 바로 평행추세 가정입니다. 이 가정이 흔들리면 DID로 도출한 모든 수치는 모래성처럼 무너질 수 있습니다.

① 평행추세 가정: "우리는 같은 방향으로 걷고 있었는가?"

평행추세 가정이란 "정책(처치)이 시행되지 않았더라면, 처치 집단과 통제 집단의 성과 추이는 평행하게 움직였을 것"이라는 전제입니다.

• 두 집단의 초기 수치가 다를 수는 있습니다. 하지만 정책 시행 전까지 두 집단이 보여준 '변화의 흐름'만큼은 비슷해야 합니다.

• 이 가정이 충족되어야만 정책 시행 후 통제 집단에서 나타난 변화를 처치 집단의 '가상 시나리오(반사실)'로 활용할 수 있기 때문입니다.

② 가정이 깨지는 순간: 보이지 않는 변수의 습격

만약 정책 외에 다른 외부 충격이 어느 한 집단에만 가해졌다면 평행추세 가정은 깨지게 됩니다.

• 예시: 특정 도시의 전통시장 활성화 정책 효과를 분석하는데, 하필 그 시점에 해당 도시에만 대형 쇼핑몰이 입점했다면 어떻게 될까요?

• 이때 나타난 소비 감소는 정책 실패 때문인지, 아니면 쇼핑몰 입점 때문인지 구분할 수 없게 됩니다. 즉, '정책 효과'라고 믿었던 데이터 속에 '다른 사건의 효과'가 뒤섞여버리는 오류가 발생합니다.

③ 검증 방법: 과거를 되짚어보는 '사전 추세 검증'

가정이 유효한지 어떻게 확신할 수 있을까요? 분석가들은 주로 사전 추세 검증을 실시합니다.

• 정책 시행 전의 데이터를 최소 2~3시점 이상 확보하여, 두 집단의 그래프가 실제로 평행하게 움직여 왔는지를 시각적으로 확인하거나 통계적으로 검증합니다.

• 시행 전부터 이미 두 집단의 간격이 벌어지거나 좁아지고 있었다면, 그 데이터를 기반으로 한 DID 분석 결과는 신뢰하기 어렵습니다.

4. DID 분석이 강력한 이유

DID 분석이 경제학, 사회학, 그리고 최근 비즈니스 분석에서 전방위적으로 사랑받는 이유는 무엇일까요? 이는 복잡한 현실 세계를 마치 통제된 '실험실'처럼 바꾸어주는 DID만의 독보적인 강점 때문입니다.

① 외생적 요인의 통제: "자연적인 변화는 알아서 걸러냅니다"

우리가 마주하는 데이터에는 언제나 노이즈가 섞여 있습니다. 갑작스러운 경기 불황, 유난히 길었던 장마, 전 세계적인 유행병 같은 공통적인 외부 요인(외생적 요인)은 모든 집단에 영향을 미칩니다.

• DID는 통제 집단의 변화를 기준점으로 삼기 때문에, 이러한 공통적인 외부 충격을 수식 과정에서 자동으로 상쇄합니다.

• 덕분에 분석가는 "이번 성과가 우리 정책 때문인가, 아니면 단순히 경기가 좋아서인가?"라는 고질적인 의문에서 해방될 수 있습니다.

② 데이터 접근성: "실험할 수 없는 곳에서도 실험 효과를"

현실적으로 모든 정책을 무작위 대조군 실험(RCT)으로 진행하기는 어렵습니다. 특정 지역에만 보조금을 주거나 새로운 시스템을 도입하는 것은 윤리적·비용적 제약이 따르기 때문입니다.

• DID는 이미 발생한 과거의 관찰 데이터만으로도 인과관계를 추론할 수 있게 해줍니다.

• 즉, 인위적으로 통제된 환경을 만들지 않았더라도, 유사한 성격의 비교 대상만 있다면 사후적으로 ‘자연 실험’의 효과를 낼 수 있다는 점이 가장 큰 실무적 매력입니다.

③ 직관적인 결과: "그래프 한 장으로 끝나는 설득력"

AHP나 DEA 같은 기법들이 복잡한 행렬 연산과 수치를 동반한다면, DID는 그 결과가 매우 시각적이고 직관적입니다.

• 정책 시행 시점을 기준으로 두 집단의 그래프가 평행하게 가다가, 특정 시점부터 처치 집단의 선만 위(혹은 아래)로 꺾이는 모습은 그 자체로 강력한 증거가 됩니다.

• 이러한 '비주얼 인사이트'는 복잡한 통계 지식이 없는 의사결정권자나 일반 대중을 설득할 때 수십 페이지의 보고서보다 훨씬 더 강력한 힘을 발휘합니다.

5. 실무 활용 사례 및 주의사항

DID 분석은 이론적 가설을 검증하는 학술적 연구부터 실질적인 정책의 효용성을 따지는 공공 프로젝트까지 폭넓게 활용됩니다. 하지만 데이터의 특성을 제대로 이해하지 못하면 잘못된 인과관계에 도달할 위험도 존재합니다.

① 실무 활용 사례: 세상을 바꾼 자연 실험들

• 최저임금과 고용의 상관관계 (카드&크루거 연구): DID 분석의 가장 유명한 사례입니다. 1992년 미국 뉴저지주가 최저임금을 인상했을 때, 인접한 펜실베이니아주(통제 집단)와 뉴저지주(처치 집단)의 패스트푸드점 고용률 변화를 비교했습니다. 결과적으로 최저임금 인상이 고용을 감소시키지 않았음을 증명하며 경제학계에 엄청난 파장을 일으켰습니다.

• 지자체 정책 도입 효과 분석: 특정 도시에만 도입된 '지역화폐'나 '청년수당'이 실제 소비 진작이나 구직 활동에 기여했는지 평가할 때 쓰입니다. 정책 미시행 도시들과의 추세를 비교함으로써, 자연적인 경기 회복분은 제외하고 오직 해당 정책이 만들어낸 '순증가분'만을 정교하게 계산해냅니다.

② DID 분석 시 반드시 경계해야 할 한계점

데이터의 이면에 숨은 변수들을 놓치면 DID의 논리는 쉽게 흔들릴 수 있습니다.

• 집단 선정의 편향성: 처치 집단과 통제 집단이 처음부터 너무 다른 성격을 가지고 있었다면 문제가 됩니다. 예를 들어, 이미 혁신적인 성향이 강한 기업들만 새로운 기술 지원 사업에 참여했다면, 사후에 나타난 성과는 정책 효과가 아니라 그 기업들의 원래 역량(내생성) 때문일 수 있습니다.

• 정책 시행 직전의 행동 변화: 정책이 시행될 것이라는 소문이 미리 퍼지면, 사람들은 시행 전부터 행동을 바꿉니다. 보조금이 곧 지급될 것을 알고 미리 소비를 줄였다가 시행 후 폭발시킨다면, DID 그래프는 실제보다 훨씬 과장된 정책 효과를 보여주게 됩니다.

• 외부 충격의 비대칭성: 평행추세 가정이 깨지는 가장 흔한 이유입니다. 두 집단 모두에 영향을 주어야 할 외부 충격이 하필 처치 집단에만 더 강하게 작용했다면, 그 변화는 정책 효과로 오인될 수 있습니다.

6. 인과추론의 정수, 데이터로 정책의 가치를 증명하다

DID 분석은 결국 세상의 소음 속에서 진실의 신호를 찾아내는 과정'입니다. 단순히 숫자가 올랐느냐 내렸느냐를 넘어, 그 변화의 주인공이 정말 우리가 시행한 정책인지, 아니면 그저 흘러가는 시간의 흐름이었는지를 냉철하게 가려냅니다.

복잡하게 얽힌 이해관계와 외부 변수들 속에서 정책의 '순수한 기여도'만을 발라내는 DID의 미학은, 의사결정권자에게는 정책 지속의 명분을, 대중에게는 투명한 성과 지표를 제공합니다. "만약 우리가 아무것도 하지 않았더라면(반사실) 어땠을까?"라는 질문에 가장 과학적이고 설득력 있는 답변을 내놓는 기법, 그것이 바로 DID가 인과추론의 정수로 불리는 이유입니다.

하지만 성공적인 DID 분석을 위해서는 정책 시행 전후로 처치 집단과 통제 집단 양측에서 균질하고 정교한 데이터가 수집되어야 합니다. 특히 평행추세 가정을 검증하기 위한 사전 데이터와, 수치 이면에 숨겨진 응답자의 심리 변화 등 질적 데이터를 동시에 확보하는 것이 분석의 성패를 가릅니다.

이러한 지점에서 데이터 플랫폼 왈라는 DID 분석의 신뢰도를 높이는 핵심 병기가 됩니다. 왈라는 대규모 패널을 대상으로 특정 시점별 반복 조사를 손쉽게 설계할 수 있어, 처치 집단과 통제 집단의 변화 양상을 실시간으로 추적하기에 최적화되어 있습니다. 또한, 위치 기반이나 속성별 타겟팅 기능을 통해 정책의 영향권에 있는 집단과 그렇지 않은 집단을 정교하게 분리하여 데이터를 수집할 수 있습니다.

데이터가 단순히 현상을 기록하는 것을 넘어, 변화의 원인을 증명하는 강력한 증거가 되길 원하시나요? DID라는 날카로운 통찰의 도구와 왈라라는 정밀한 데이터 수집 기술이 만날 때, 여러분의 정책과 비즈니스 결정은 비로소 흔들리지 않는 논리적 토대를 갖게 될 것입니다.

✔️ 더 읽을만한 글

https://home.walla.my/ko/blog/복잡한-ahp-설문-어떻게-설계할까

https://home.walla.my/ko/blog/did-분석(이중차분법)-심층-분석

https://home.walla.my/ko/blog/dea-설문지-작성법-비재무적-가치까지-숫자로-바꾸는-기술

https://home.walla.my/ko/blog/델파이-조사-완벽-가이드-핵심-원칙부터-효율적-실무까지

https://home.walla.my/ko/blog/ipa-분석법-다-잘할-수는-없다-선택과-집중을-위한-분석