Послідовне квадратичне програмування

Послідовне квадратичне програмування ( SQP ) - це ітеративний метод обмеженої нелінійної оптимізації. Методи SQP використовуються для математичних задач, для яких цільова функція та обмеження двічі безперервно диференціюються.

Методи SQP вирішують послідовність підпроблем оптимізації, кожна з яких оптимізує квадратичну модель об'єкта, що підлягає лінеаризації обмежень. Якщо проблема не обмежена, то метод зводиться до методу Ньютона для пошуку точки, де градієнт об'єкта зникає. Якщо проблема має лише обмеження рівності, то метод еквівалентний застосуванню методу Ньютона до умов оптимальності першого порядку або умов Каруша — Куна — Таккера.

Розглянемо нелінійну задачу програмування даної форми:

${\displaystyle {\begin{array}{rl}\min \limits _{x}&f(x)\\{\mbox{s.t.}}&b(x)\geq 0\\&c(x)=0.\end{array}}}$

Лагранжан для цієї проблеми є ^[1]

${\displaystyle {\mathcal {L}}(x,\lambda ,\sigma )=f(x)-\lambda ^{T}(b(x)-(y_{i})^{2})-\sigma ^{T}c(x),}$

де ${\displaystyle \lambda }$ і ${\displaystyle \sigma }$ є множниками Лагранжа. На ітерації ${\displaystyle x_{k}}$, основний алгоритм послідовного квадратичного програмування визначає відповідний напрямок пошуку ${\displaystyle d_{k}}$ як рішення підпрограми квадратичного програмування

${\displaystyle {\begin{array}{rl}\min \limits _{d}&f(x_{k})+\nabla f(x_{k})^{T}d+{\tfrac {1}{2}}d^{T}\nabla _{xx}^{2}{\mathcal {L}}(x_{k},\lambda _{k},\sigma _{k})d\\\mathrm {s.t.} &b(x_{k})+\nabla b(x_{k})^{T}d\geq 0\\&c(x_{k})+\nabla c(x_{k})^{T}d=0.\end{array}}}$

Зауважимо, що функція ${\displaystyle f(x_{k})}$ у рівнянні вище може бути залишена для проблеми мінімізації, оскільки вона є постійною.

• Послідовне лінійне програмування
• Послідовне лінійно-квадратичне програмування
• Доповнений метод Лагрангія

Методами SQP були реалізовані такі добре відомі числові середовища, як MATLAB і GNU Octave. Існують також численні бібліотеки програмного забезпечення, в тому числі з відкритим кодом

• SciPy (фактично стандарт для наукового Python) має розв'язувач scipy.optimize.minimize (метод = 'SLSQP').
• NLopt [Архівовано 19 грудня 2017 у Wayback Machine.] (реалізація C / C ++, з численними інтерфейсами, включаючи Python, R, MATLAB / Octave), реалізований Dieter Kraft як частина пакету для оптимального управління та модифікований SG Johnson. ^{[2] [3]}
• LabVIEW
• KNITRO ^[4] (C, C ++, C #, Java, Python, Fortran)
• NPSOL (Фортран)
• SNOPT (Фортран)
• NLPQL (Fortran)
• MATLAB

SuanShu [Архівовано 24 грудня 2019 у Wayback Machine.] (Java)

• Алгоритм Хозефі — Ньютона^[fr]
• Метод Ньютона
• Секретний метод

• Bonnans, J. Frédéric; Gilbert, J. Charles; Lemaréchal, Claude; Sagastizábal, Claudia A. (2006). Numerical optimization: Theoretical and practical aspects. Universitext (вид. Second revised ed. of translation of 1997 French). Berlin: Springer-Verlag. с. xiv+490. doi:10.1007/978-3-540-35447-5. ISBN 978-3-540-35445-1. MR 2265882. Архів оригіналу за 19 липня 2013. Процитовано 24 грудня 2019.
• Jorge Nocedal and Stephen J. Wright (2006). Numerical Optimization. Springer. ISBN 978-0-387-30303-1. Архів оригіналу за 30 травня 2008. Процитовано 24 грудня 2019.

• Послідовне квадратичне програмування в путівнику NEOS [Архівовано 24 грудня 2019 у Wayback Machine.]