라그랑주 승수법

라그랑주 승수법(Lagrange乘數法, 영어: Lagrange multiplier method)은 제약이 있는 최적화 문제를 푸는 방법이다. 최적화하려 하는 값에 형식적인 라그랑주 승수(Lagrange乘數, 영어: Lagrange multiplier) 항을 더하여, 제약된 문제를 제약이 없는 문제로 바꾼다. 조제프루이 라그랑주가 도입하였다. 수학, 라그랑주 역학, 경제학, 운용 과학 등에 쓰인다.

연속미분가능함수 ${\displaystyle f\colon \mathbb {R} ^{D}\to \mathbb {R} }$와 ${\displaystyle \mathbf {g} \colon \mathbb {R} ^{D}\to \mathbb {R} ^{C}}$를 생각하자. ${\displaystyle \mathbf {g} (\mathbf {x} )=0}$인 제약 아래 ${\displaystyle f(\mathbf {x} )}$를 최적화하는 문제를 생각하자. 이 문제는 라그랑주 승수법을 써 다음과 같이 풀 수 있다. 다음과 같은 함수 ${\displaystyle F\colon \mathbb {R} ^{D+C}\to \mathbb {R} }$을 정의하자.

${\displaystyle F(\mathbf {x} ,\mathbf {y} )=f(\mathbf {x} )+\mathbf {y} \cdot \mathbf {g} (\mathbf {x} )}$

${\displaystyle F}$의 정류점(stationary point)은 오일러-라그랑주 방정식을 통하여 찾을 수 있다. 그렇다면, 다음을 보일 수 있다.

• 만약 ${\displaystyle (\mathbf {x} ,\mathbf {y} )\in \mathbb {R} ^{D+C}}$가 ${\displaystyle F}$의 정류점이라면, ${\displaystyle \mathbf {x} }$는 ${\displaystyle \mathbf {g} =0}$으로 제약한 ${\displaystyle f}$의 정류점이다.
• 만약 ${\displaystyle \mathbf {x} \in \mathbb {R} ^{D}}$가 ${\displaystyle \mathbf {g} =0}$으로 제약한 ${\displaystyle f}$의 정류점이라면, ${\displaystyle (\mathbf {x} ,\mathbf {y} )}$가 ${\displaystyle F}$의 정류점인 ${\displaystyle \mathbf {y} \in \mathbb {R} ^{C}}$가 존재한다..

여기서 보조변수 ${\displaystyle \mathbf {y} \in \mathbb {R} ^{C}}$를 라그랑주 승수(영어: Lagrange multiplier)라고 한다.

최적화 이론에서는 (국소적) 극점(extremum)을 찾는다. 극점은 정류점의 부분집합이므로, 정류점을 모두 찾아 극점인지 확인하면 된다. 반면, 라그랑주 역학에는 단순히 정류점만을 찾으면 되므로 이는 필요없다.

• 오일러-라그랑주 방정식
• 제약된 극값 정리
• 카루시-쿤-터커 조건

• Conceptual introduction (plus a brief discussion of Lagrange multipliers in the calculus of variations as used in physics)
• Lagrange Multipliers for Quadratic Forms With Linear Constraints by Kenneth H. Carpenter

For additional text and interactive applets

• Simple explanation with an example of governments using taxes as Lagrange multipliers
• Applet
• Tutorial and applet
• Video Lecture of Lagrange Multipliers 보관됨 2011-07-14 - 웨이백 머신
• MIT Video Lecture on Lagrange Multipliers^{[깨진 링크(과거 내용 찾기)]}
• Slides accompanying Bertsekas's nonlinear optimization text, with details on Lagrange multipliers (lectures 11 and 12)
• http://eom.springer.de/L/l057190.htm