일치성

일치성은 보통 표본에 기반한 추정량이 모수를 점점 더 잘 근사하는지를 뜻한다. 다시 말해 표본이 늘어날수록 큰 오차를 낼 가능성이 줄어드는지 보는 개념이다.^[2]

이 성질은 점추정의 품질을 이야기할 때 특히 중요하다. 어떤 추정량이 작은 표본에서는 흔들리더라도, 표본 수가 커질수록 참값 근처로 모이면 실무와 이론 모두에서 더 신뢰할 수 있는 추정량으로 취급된다.^[1]

임의의 ε > 0에 대해 P(|\hat θ_n - θ| > ε) → 0 이면 \hat θ_n 은 θ 에 대해 일치적이라고 한다. 이 표현은 표본 크기가 커질수록 추정량이 참값에서 멀어질 가능성이 사라진다는 뜻으로 읽으면 된다. 수렴이라는 말이 들어가지만, 핵심은 표본 증가에 따라 오차가 줄어드는 방향을 본다는 점이다.^[2]

이 정의는 약한 일치성의 가장 기본적인 형태다. 통계학에서는 같은 아이디어를 더 강한 형태로 확장해 다루기도 하지만, 입문 수준에서는 "표본이 많아질수록 참값에 붙는다"는 직관을 먼저 잡는 편이 이해에 도움이 된다.^[1]

가장 익숙한 예시는 표본평균이다. 독립이고 동일한 분포를 따르는 관측값에서 표본평균은 모평균의 대표적인 일치추정량으로 자주 소개된다. 이때 구간추정은 오차의 폭을 함께 보여 주는 도구이지만, 구간의 넓이만 보고 일치성을 자동으로 판정할 수는 없다.^[1]

반대로 작은 표본에서 잘 맞아 보이더라도 표본이 커질수록 구조적 편향이 남는 추정량은 일치하지 않을 수 있다. 그래서 일치성은 "현재의 적중률"보다 "표본이 늘어났을 때의 장기적 거동"을 보는 개념이라고 이해하는 편이 정확하다.^[2]

일치성은 통계적 추론 전체를 대신하는 기준이 아니다. 한 추정량이 일치적이라고 해서 분산이 작다거나, 작은 표본에서 항상 좋은 추정량이라는 뜻은 아니기 때문이다. 일치성은 장기적 정확도를, 다른 성질들은 효율성과 안정성을 각각 설명한다.^[1]

이 점은 표본의 크기와 해석을 함께 볼 때 특히 중요하다. 표본이 충분히 커지지 않은 상황에서는 일치성이 좋아도 실제 의사결정에는 다른 지표가 필요할 수 있고, 그래서 추정·검정·구간의 세 요소를 함께 읽는 습관이 필요하다.^[1][2]

일치성이라는 말은 통계 밖에서도 쓰인다. 예를 들어 대규모 언어 모델에서는 답변 간 모순이 적은지, 같은 질문에 대한 출력이 안정적인지를 두고 논리적 일치성을 말한다. 다만 이 문서의 중심 의미는 어디까지나 통계적 추정의 성질이다.^[3]

또한 비슷한 용어라도 분야마다 검증 기준은 다르다. 통계에서는 관측치가 늘어날수록 참값에 붙는지를 보지만, LLM 평가에서는 논리 규칙과 응답 일관성을 본다는 점에서 문제 설정이 다르다.^[3]

• 통계적 추론
• 점추정
• 구간추정
• 모수
• 표본

^[1] Wweb.stanford.edu(새 탭에서 열림)

^[2] Wwww.statlect.com(새 탭에서 열림)

^[3] Aarxiv.org(새 탭에서 열림)