볼록 최적화

과학·공학 문제를 볼록 최적화 형태로 알아보고 수학적으로 모델링하는 일은 이 분야의 중요한 목표다. 기본 이론과 응용에 필요한 결과를 함께 다루며, 최소제곱, 선형 계획법, 이차 계획법, 반정부호 계획법 등이 대표적인 모형에 포함된다.^[1][2]

적용 사례는 신호 처리, 제어, 기계학습, 금융, 회로 설계, 계산기하학, 통계학, 기계공학에 걸쳐 있다. 강의에서 다루는 주제에는 최적성 조건과 쌍대성도 포함되어 있어, 문제를 세우는 방식부터 해의 성질을 분석하는 방법까지 연결된다.^[1][2]

볼록 집합에서는 집합 안의 임의의 두 점을 이은 선분도 집합 안에 놓인다. 볼록 함수는 임의의 두 점 사이에서 함수값이 두 끝점의 함수값을 선형 보간한 값보다 크지 않은 함수다. 두 조건은 각각 허용 가능한 해의 영역과 목적 함수의 형태를 규정한다.^[5][6]

목적 함수의 볼록성과 제약 집합의 볼록성은 볼록 최적화의 전역 성질을 뒷받침한다. 문제의 구조를 확인하면 국소적으로 최적이라고 판정된 해가 전역적으로도 최적인지 다룰 수 있다.^[5][6]

최적화 문제는 어떤 값을 최소화하거나 최대화할지 나타내는 목적 함수와, 가능한 해의 범위를 정하는 제약 조건으로 구성된다. 제약 조건은 허용되는 해를 모으므로, 이를 볼록 집합으로 나타내고 목적 함수의 볼록성을 확인하는 것이 볼록 문제 정식화의 핵심이다.^[5][6]

대표 모형에는 최소제곱, 선형 계획법, 이차 계획법, 반정부호 계획법이 있다. 이차 계획법은 이차 목적 함수와 선형 등식·부등식 제약을 사용하며, 이차항의 행렬이 양의 준정부호일 때 볼록성을 갖는다.^[1][2][5]

최적성 조건은 후보 해가 최적해인지 분석할 때 사용하는 이론적 도구다. 볼록 최적화의 기본 이론은 이러한 조건과 함께 여러 응용에 유용한 결과를 다룬다.^[1][2]

쌍대성에서는 라그랑주 쌍대 함수와 쌍대 문제를 구성하고, 그 성질과 응용을 살핀다. 쌍대 문제는 원래 문제의 구조를 다른 관점에서 분석하는 주제이며, 볼록 최적화 강의에서 최적성 조건과 함께 다뤄진다.^[1][4]

근사와 피팅에서는 노름 근사, 정규화, 강건 최적화를 다룬다. 통계적 추정 주제로는 최대우도 추정과 MAP 추정이 포함되며, 검출기 설계와 실험 설계도 함께 제시된다.^[4]

응용 사례는 넓은 범위에 걸쳐 있다. 신호 처리와 제어, 기계학습과 금융, 디지털·아날로그 회로 설계, 계산기하학, 통계학, 기계공학 등이 강의에서 다루는 적용 분야다.^[1][2]

• 볼록 집합
• 볼록 함수
• 선형 계획법
• 이차 계획법
• 라그랑주 쌍대성
• 정규화

^[1] Oocw.mit.edu(새 탭에서 열림)

^[2] Oocw.mit.edu(새 탭에서 열림)

^[4] Oocw.mit.edu(새 탭에서 열림)

^[5] Uunisquads.io(새 탭에서 열림)

^[6] Vvelog.io(새 탭에서 열림)