증류는 액체 혼합물에서 성분을 나누거나 순도를 높이는 대표적인 분리 공정이다.[2][3] 혼합물의 성분이 가진 끓는점 차이를 이용해 원하는 물질을 먼저 기화시키고, 이후 다시 응축해 회수한다.
이 방식은 실험실의 단순한 분리부터 정유 공장의 대규모 처리까지 폭넓게 쓰인다. 성분 간 차이가 클수록 공정은 단순해지고, 차이가 작을수록 더 정밀한 장치가 필요하다.[2][3]
1. 개요
2. 증류의 기본 원리
3. 단순 증류와 분별 증류
4. 분별 증류의 장치와 공정
5. 산업적 응용
6. 지식 증류
인공지능 분야의 지식 증류는 큰 딥러닝 모델의 예측 패턴을 작은 모델이 배우도록 하는 방법이다. 학생 모델은 정답만 외우는 것이 아니라 교사 모델이 보여 주는 출력의 구조까지 함께 학습한다.[1]
이 방식은 모델 압축과 데이터 효율성을 함께 노린다. 계산 자원이 제한된 환경에서도 비교적 높은 성능을 유지할 수 있어, 모바일 기기나 임베디드 시스템에 배치하기 좋은 모델을 만드는 데 유용하다.[1]
물리적 증류가 성분의 차이를 이용해 원하는 물질을 농축하듯, 지식 증류도 대형 모델이 축적한 예측 정보를 더 작은 모델로 옮겨 성능을 유지하려는 시도라고 볼 수 있다.[1]