양자화

양자화의 핵심은 연속적인 값의 범위를 정해진 간격의 눈금으로 나누어 표현하는 데 있다. 이 개념은 물리적 세계의 불연속성을 설명할 때도, 신호를 저장하거나 전송하기 위해 이산화할 때도 같은 이름으로 불린다. 따라서 양자화는 고전역학과 양자역학, 아날로그-디지털 변환, 그리고 딥러닝의 정밀도 조절을 한꺼번에 잇는 공통어에 가깝다.^[1][2]

고전역학에서는 물리량이 연속적으로 변한다고 보지만, 양자역학에서는 에너지나 운동량처럼 어떤 물리량이 특정한 불연속 단위로만 나타나는 현상을 다룬다.^[1] 이런 관점은 원자 내부의 전자 상태나 빛의 에너지 교환을 설명하는 데 중요하며, 양자라는 표현의 핵심적인 쓰임새를 이룬다.

물리학에서는 양자화를 제1 양자화와 제2 양자화로 나누어 설명하기도 한다.^[2] 제1 양자화는 위치나 운동량 같은 고전적 변수를 연산자로 바꾸어 파동 함수를 기술하는 방식이다. 제2 양자화는 입자 수를 변수로 다루며 장을 양자화하는 접근으로, 양자장론의 기초가 된다.

디지털 신호 처리에서 양자화는 아날로그-디지털 변환의 마지막 단계에 해당한다. 먼저 표본화로 시간 축을 이산화한 뒤, 각 시점의 연속적인 진폭을 미리 정해 둔 양자화 레벨 중 가장 가까운 값으로 매핑한다. 이때 표현 가능한 상태의 수는 비트 수에 의해 결정된다.^[3]

비트 수가 늘어날수록 원신호에 더 가까운 근사가 가능하지만, 저장 공간과 처리 대역폭의 부담도 함께 커진다. 그래서 양자화 설계는 정확도와 자원 사용량 사이의 균형을 맞추는 문제로 이어진다. 이 관계는 신호 대 잡음비를 어떻게 확보할지와도 직접 연결된다.^[3]

양자화 오차는 연속적인 입력값이 이산값으로 바뀌는 과정에서 생기는 차이다. 임계 레벨 양자화기를 기준으로 보면 오차 크기는 일반적으로 최하위 비트의 절반 범위 안에서 나타난다. 입력이 계단 사이에 균등하게 분포한다고 가정하면 오차는 균등 분포로 근사할 수 있다.^[3]

이 가정 아래에서 오차의 분산은 Δ^2/12, 표준편차는 Δ/√12로 쓸 수 있다. 이런 통계적 모델은 양자화 잡음의 영향을 추정하거나, 신호 품질을 비교할 때 자주 사용된다.^[3]

딥러닝에서 양자화는 모델의 수치 정밀도를 낮춰 모델 경량화를 달성하는 기술이다. 보통 가중치를 높은 비트의 부동소수점 표현에서 낮은 비트의 정수 표현으로 바꾸어 메모리 사용량과 연산 비용을 줄인다. 이 방식은 저장 효율에, 활성화 양자화는 실행 중 수치 분포 제어에 더 큰 영향을 준다.^[3]

이 방식은 엣지 기기나 온디바이스 AI처럼 자원이 제한된 환경에서 특히 유용하다. 전력 소모와 지연 시간을 줄이면서도 실시간 추론을 유지할 수 있기 때문이다. 다만 비트 수를 지나치게 낮추면 정확도 손실이 커질 수 있어, 모델 구조와 배포 환경에 맞춘 조정이 필요하다.^[3]

양자화의 장점은 저장 공간 절감, 처리 속도 향상, 하드웨어 활용 효율 개선으로 요약할 수 있다. 반면 한계는 정확도 저하, 양자화 잡음 증가, 분포가 불안정한 데이터에서의 예측 성능 변동으로 나타난다. 즉, 양자화는 효율을 얻는 대신 일정 수준의 손실을 감수하는 기술이다.^[3]

실무에서는 대상 신호나 모델의 특성에 따라 적절한 비트 폭, 스케일, 레벨 배치를 선택해야 한다. 이 조정이 잘 이루어질수록 연산 효율성과 품질 사이의 균형이 좋아진다.^[3]

양자화는 물리학과 신호 처리, 딥러닝의 서로 다른 맥락을 이어 준다.^[1][3]

• 양자역학
• 디지털 신호 처리
• 딥러닝
• 이산화

• 양자역학
• 디지털 신호 처리
• 고전역학

^[1] Physica GNU, Pphysica.gnu.ac.kr(새 탭에서 열림)

^[2] A. First and Second Quantization, TU Wien, Wwww.iue.tuwien.ac.at(새 탭에서 열림)

^[3] 모델 양자화, FuriosaAI docs, Ddeveloper.furiosa.ai(새 탭에서 열림)