데이터 편향성은 데이터의 분포나 구성에 한쪽으로 치우침이 있어, 이를 바탕으로 한 분석이나 인공지능 모델의 판단에 영향을 줄 수 있는 현상이다. AI 시스템에서는 학습 자료의 특정 인종이나 성별이 지나치게 많을 때, 모델의 의사결정도 소수 집단에 불리하게 기울 가능성이 있다.[4]
1. 개요
2. 데이터 편향의 발생 양상
과거 자료에 남성이 다수 포함된 고용 환경을 바탕으로 채용 모델을 만들면, 그 모델이 여성 지원자를 불리하게 평가할 가능성이 있다. 과거의 경험이 현재의 평가에 영향을 주는 이러한 양상은 역사적 편향의 사례로 제시된다.[4]
표본이 연구 대상인 모집단을 대표하지 못할 때는 대표성 편향이 생길 수 있다. 예를 들어 미국 거주자만 참여한 백신 임상시험의 결과가 아시아 지역 사람들에게는 다르게 나타날 가능성이 제기된다.[4]
편향은 사회적 자료에만 있는 것이 아니다. 교육 연구에서는 자연 발생적 데이터 분포의 편향을 다루기 위해 벤포드 법칙을 활용한 프로그램을 제안했으며, 학생들이 데이터의 다양한 속성을 이해하도록 구성했다.[1]
3. 데이터 편향이 인공지능에 미치는 영향
AI는 데이터를 학습해 확률적으로 판단하므로, 학습 자료에 사회적 편향이 포함되면 모델의 판단도 왜곡될 수 있다. 편향된 데이터가 입력되면 결과에 영향을 줄 수 있다는 점은 ‘입력 데이터의 질이 결과에 반영된다’는 설명과 함께 제시된다.[3]
이미지 인식 사례에서는 어두운 피부의 손이 온도계를 든 사진을 Google Vision Cloud가 ‘총’으로 분류했고, 같은 사진에서 손의 색을 밝게 조정하자 ‘단안경’으로 인식했다. 이 사례는 모델의 분류 결과가 입력 이미지의 특성과 연결되어 있음을 보여주는 사례로 소개된다.[3]
암 연구와 환자 진료에 쓰이는 AI도 학습 자료가 더 넓은 인구 집단을 적절히 대표하지 못하면 의료 편향을 이어갈 수 있다. 따라서 의료 인공지능의 결과를 고려할 때는 학습 데이터의 다양성과 대표성이 중요한 쟁점이 된다.[2]
4. 편향의 점검과 교육
인공지능 형평성 연구는 학습 데이터의 편향을 점검하고, 학습 중 편향이 확대되지 않도록 통제하며, 모델이 실제 상황에서도 공정성을 유지하는지 평가하는 과정을 다룬다.[3] 이 과정은 데이터에서 모델의 실제 사용에 이르는 여러 단계에서 편향을 살피는 접근이다.[3]
고등학교 AI 교육에서는 데이터 분석 능력과 편향 인식을 함께 기르는 일이 중요하게 제안된다. 관련 연구는 데이터 분석과 평가 역량을 강조하는 교육과정의 방향을 언급하며, 학생들이 데이터를 비판적으로 다루도록 하는 교육 프로그램을 제시한다.[1]
그 프로그램은 자연 발생적 분포의 편향도 교육에 포함하기 위해 벤포드 법칙을 활용한다. 이를 통해 학생들이 데이터의 여러 속성과 데이터 기반 의사결정의 관계를 통합적으로 이해하도록 구성했다.[1]
5. 관리 기준과 적용상의 과제
편향을 감지하고 평가하며 감독하는 기준이 모호하면 실제 관리가 어려울 수 있다는 견해가 제시된다. 편향의 정의와 허용 범위를 둘러싼 기준을 마련하려면 사회적 합의와 제도적 기준이 필요하다는 주장도 있다.[3]
AI와 머신러닝 모델의 편향을 줄이고 결과의 재현성을 확보하기 위해 널리 채택되는 개발 표준이 필요하다는 제안이 있다.[2] 편향 관리가 모델 개발과 평가에서 고려할 문제라는 점에서, 인공지능 형평성 논의와 연결된다.[2][3]
의료 현장에 AI와 머신러닝 기술을 적용하려면 추가적인 무작위 임상시험을 통한 검증이 필요하다는 과제가 제시된다. 임상 업무 흐름에 기술을 통합하기 위해 설명 가능한 인공지능의 발전도 중요하다고 언급된다.[2]
6. 관련 문서
- 인공지능 형평성
- 데이터 리터러시
- 의료 인공지능