МЕТОДЫ ОПТИМИЗАЦИИ

В качестве темы, имеющей большое значение в нелинейном анализе и математическом программировании, безусловная оптимизация широко и все чаще используются в машиностроении, экономике, управлении, промышленности и других областях. Безусловная оптимизация также возникает при переформулировании задач условной оптимизации, в которых ограничения заменяются некоторыми штрафными терминами в целевой функции. Во многих приложениях больших данных решение задачи безусловной оптимизации с тысячами или миллионами переменных просто необходимо. В таких ситуациях, методы с важной особенностью требования низкой памяти являются полезными инструментами. Здесь мы изучаем два семейства методов решения крупномасштабных задач безусловной оптимизации: методы сопряженных градиентов и квази-ньютоновские методы с ограниченной памятью, оба из которых структурированы на основе линейного поиска.

OPTIMIZATION METHODS

As a topic of great significance in nonlinear analysis and mathematical programming, unconstrained optimization is widely and increasingly used in engineering, economics, management, industry and other areas. Unconstrained optimization also arises in reformulation of the constrained optimization problems in which the constraints are replaced by some penalty terms in the objective function. In many big data applications, solving an unconstrained optimization problem with thousands or millions of variables is indispensable. In such situations, methods with the important feature of low memory requirement are helpful tools. Here, we study two families of methods for solving large-scale unconstrained optimization problems: conjugate gradient methods and limited-memory quasi-Newton methods, both of them are structured based on the line search.