Math-Net.Ru
All Russian mathematical portal
Yu. E. Nesterov, A method of solving a convex
programming problem with convergence rate O k12 ,
Dokl. Akad. Nauk SSSR, 1983, Volume 269,
Number 3, 543–547
https://www.mathnet.ru/eng/dan46009
Use of the all-Russian mathematical portal Math-Net.Ru implies that you
have read and agreed to these terms of use
https://www.mathnet.ru/eng/agreement
Download details:
IP: 42.88.232.202
May 31, 2025, 10:45:08
МАТЕМАТИКА
УДК 51
Ю.Е. НЕСТЕРОВ
МЕТОД РЕШЕНИЯ ЗАДАЧИ ВЫПУКЛОГО ПРОГРАММИРОВАНИЯ
СО СКОРОСТЬЮ СХОДИМОСТИ о
(Представлено академиком
Л.В. Канторовичем 9 VII 1982)
1. В статье предлагается метод решения задачи выпуклого программиро­
вания в гильбертовом пространстве Е. В отличие от большинства методов выпук­
лого программирования, предлагавшихся ранее, этот метод строит минимизирую­
щую последовательность точек {x \ =
которая не является релаксационной. Эта
особенность позволяет свести к минимуму вычислительные затраты на каждом
шаге. В то же время для такого метода удается получить неулучшаемую на рас­
сматриваемом классе задач оценку скорости сходимости (см. [ 1 ] ) .
2. Рассмотрен сначала задачу безусловной минимизации выпуклой функции
f(x). Мы будем предполагать, что ф у н к ц и я / ( х ) принадлежит классу С » (б ),'т.е.
что существует константа L > О , для которой при всех x у Е Е выполняется
неравенство
k k
Qi
1
1
1
f
(О
lf'fr)-fXy)i<Llx-yl.
Из неравенства (1) следует, что при всех х, у ЕЕ
(2)
2
/ ( у) < f(x) + </'(*), у - х) + 0,51Л у - х II .
Для решения задачи min {/(*)] х Е Е\ с непустым множеством минимумов
X* предлагается следующий метод.
0) Выбираем точку у Е Е. Полагаем
0
(3)
* = 0,
а =1,
* - 1 = Л>,
0
*-i=bo-z\\l\\f'(yo)-fXz)\\
9
где z - любая точка из Е,гФу
f(z) Ф /'0>о)1) k-я. Итерация.
а) Вычисляем наименьший номер i> 0, для которого выполняется неравенство
0
(4)
г
а
Лл)-Лл-2-'а*_ / (^))>2-'-Ч-11/'(Л)1 .
1
б) Полагаем
щ = 2-'а*_ ж*
=Ун-&к/\Ук\
ь
(5)
^
+ 1
=(1
Ук+1 = х
к
+ Ч
Д4ТТ)/2,
+ (а - 1) (х
к
-Xfc-i)la +1.
к
k
Способ прерывания одномерного поиска (4) аналогичен способу, предло­
женному в [ 2 ] . Разница лишь в том, что в (4) дробление шага на к-й итерации про­
изводится, начиная с a __i (а не с единицы, как в [ 2 ] ) . В силу этого (см. доказа­
тельство теоремы 1) при построении методом ( 3 ) - ( 5 ) последовательности\х \J=
будет сделано не более 0 ( l o g Z ) таких дроблений. Пересчет точек у в
(5) осущест­
вляется с помощью "овражного" шага. Отметим также, что метод (3)—(5) не обес­
печивает монотонное убывание функции f(x) на последовательностях \х \ =
,
k
к
2
к к
1
1
Т е о р е м а 1. Пусть выпуклая функция f(x) Е С > (Е)
последовательность \х \1
построена методом (3) - ( 5 ) , то:
к
0
к
0
и X* Ф ф. Если
=0
543
1) для любого к > О
2
(6)
/ ( * * ) - Г < С/(* + 2 ) ,
2
гдеС = Шу -х*\\ ,
/ * = / ( х * ) , JC* GЛГ*;
2) &ял достижения точности е по функционалу
необходимо:
а) вычислить градиент целевой функции не более NG
раз,
б) вычислить значение целевой функции
не более NF = 2NG +
+ ] I o g ( 2 I a . i ) { + 1 раз.
Здесь и далее ] ( • ) [ - целая часть числа ( • ) .
Д о к а з а т е л ь с т в о . Пусть y (a)
= у - a/'Ofc). Из неравенства (2)
получаем f(y )
-f(y (oc))
> 0,5a(2 -otL) \\f\y )
II . Следовательно, как только
2~ a _i
станет меньше, чем L~ , неравенство (4) выполнится и в дальнейшему
уменьшаться не будут. Таким образом, а > 0,5L~ для всех к > 0.
Обозначим р = (я* - х ). Тогда
- x
= р ~ х +
0
= ]\/сУе[
2
k
к
2
k
k
k
l
l
k
l
к
к
+ ^
+ 1
,
а
А : + 1
+ 2(а
/ (7
А г + 1
к
) . Следовательно,
- l)cL .<f\y ),p )
к+1
k+l
X 1/'(
k+l
ip
k + l
k+1
k+1
к
2
+ х*11 = Ир* - х* + х*11 +
к+1
+ 2a a (f'(y ),x*
k
к
2
- х
k+1
- у )
k+1
+ e|
к+1
+ 1
o£
+ 1
X
А
Л +
1)1 .
Пользуясь неравенством (4) и выпуклостью функции f(x),
получаем
tfWO.Jb+i - * * » r t * * + i W + 0 , 5 у 1 1 / ( ^ ) И ,
H / ( ^ i ) H < f(y )
-f(x )
< f(x ) -f(x )
,
2
+ 1
,
+ 1
2
+
k+i
k+1
k
k+1
-*kli<f'(yk+i),Pk>.
Подставим эти два неравенства в предыдущее равенство:
2
k+1
-Г) +
k+1
k+1
k+1
а
+
к+1
-2a a (f(x
< -2a a (f(x )-f*)
k+1
,
-l)% i</ (^ i),Pit>-
+ * * Н - И р * - х * + х * 1 < 2(а
lp*+i -Xk+i
(4
,
+1
-^ iK ll/ (^ )ll
+
2
+ 2(a
k+1
= 2ofc *£(/(**) - / * ) - 2 а *
+1
+ 1
*
+ 1
+ 1
- а )а (/(х )
k+l
2
+ 1
к+1
(/(**
+ 1
к+1
) -Г
к
+
2
<
-/(**+1)) =
2
)< 2a^ (/(^) -/*) -
-2% 4 (/(^ )-Г)+1
+1
+1
Таким образом,
2% i4 i(/(^ i)~/*)< 2% 4 (/(^ )-Г) +
+
+
+
+1
+1
+1
2
+ IP*+i
+ **H < 2 a ^ ( / ( ^ ) - / * ) + lp*
2
2
+ x*ll
2
<
2
< 2а а (Пх )-Г)+\\р -х
+ х*\\ <
ll^o-^*H .
Осталось заметить, что a
>a + 0,5 > 1 + 0,5(fc + 1 ) .
Из оценки скорости сходимости (6) следует, что число итераций, необходи­
мое методу ( 3 ) - ( 5 ) для достижения точности €, не будет больше, чем ]\fcje[ - 1.
При этом на каждой итерации будет вычисляться один градиент и по крайней мере
два значения целевой функции. Заметим, однако, что каждому дополнительному
вычислению значения целевой функции соответствует уменьшение величины а
вдвое. Поэтому общее число таких вычислений не превзойдет
]log (2Lo:_ )[+ 1.
Теорема доказана.
Если для градиента целевой функции известна константа Липшица L, то в
методе (3) —(5) можно положить а = Z,' при любом к > 0. В этом случае нера­
венство (4) будет заведомо выполнено и поэтому утверждения теоремы 1 оста­
нутся верными при C=2L \\у - х* II , NG = ] II j> - ** \W2L/e\ - 1 и NF = 0.
0
0
0
0
0
k + l
k
к
2
1
к
2
0
544
0
1
В заключение этого раздела покажем, как можно модифицировать метод
(3) - ( 5 ) для решения задачи минимизации сильно выпуклой функции.
Предположим, что для функции f(x) при всех х Е Е выполняется неравенство
f(x) - / * > 0,5т \1х - х* II , где т > 0, и пусть константа т нам известна.
Введем в метод (3)—(5) следующее правило прерывания:
в) Останавливаемся, если
2
(7)
к>
2V2/(maJ-2.
Пусть прерывание произошло на N-м шаге. Так как в методе ( 3 ) - ( 5 ) а
> 0 , 5 L , то N< ]4\/L/m[ - 1. В то же время
ПУ
Х
f(* )-f*<
< 0,25mII>><>-**И <
ОЯГ(Уо)-Г)a (N + 2)
к
>
- 1
*~ 1
N
2
2
N
После того как получена точка x , необходимо обновить метод и опять на­
чать счет методом (3) - ( 5 ) , (7) из точки x как из начальной и т.д.
В результате получаем, что за каждые ]4\/L/m[
- 1 итераций невязка по
функции убывает вдвое. Таким образом, метод (3) —(5) с обновлением (7) явля­
ется неулучшаемым (с точностью до безразмерной константы) среди методов пер­
вого порядка на классе сильно выпуклых функций из С ' (Е) (см. [ 1 ] ) .
3. Рассмотрим следующую экстремальную задачу:
N
N
1
(8)
min{F(/(x))|
1
xEQ\,
m
где Q - выпуклое замкнутое множество из Е, F(u), и Е R , — выпуклая на всем
R
положительно-однородная степени единица функция, f(x) = ( / i ( x ) , АС*)» • • •
• • • > / m W ) ~ вектор выпуклых непрерывно дифференцируемых на Е функций.
Множество X* решений задачи (8) всегда предполагается непустым. Кроме того,
мы всегда будем предполагать, что система функций \F(•)»/(•)}
обладает сле­
дующим свойством:
(*) Если существует вектор X Е bF(0) такой, что X*** < 0, т о / * ( х ) — ли­
нейная функция.
Через dF(0) в (*) обозначен субдифференциал функции F(u) в нуле.
Как известно, для выпуклых положительно-однородных степени единица
функций справедливо тождество F(u) = max(<X, и)\ X Е 3F(0)j . Поэтому из
предположения (*) следует выпуклость функции F(f(x))
навеем Е.
Задачу (8) можно записать в минимаксной форме:
m
(9)
min{max{<X,/(jc)>| X G 3 F ( 0 ) } |
xEQ\.
Можно показать, что из непустоты множества X* и предположения (*) следует су­
ществование у задачи (9) седловой точки (X* х*). Поэтому множество седловых
точек задачи (9) представимо в виде £1* = Л* X X*, где Л* = Argmax\^(X) | X Е
G 3 F ( 0 ) } , *(X) = min{<X,/(jt)>| xEQ}.
Задачу
maxj^(X)| X G 9 F ( 0 ) n d o m * ( - ) | .
мы будем называть з а д а ч е й , д в о й с т в е н н о й к ( 8 ) .
Пусть в задаче (8) функции f (х) ,к = 1, 2 , . . . , т , принадлежат,
классу
С > (Е) с константами L
> 0. Обозначим L = (L \L \
.. .,
L ).
Рассмотрим функцию Ф(^, A, z) = F(f (у, z ) ) + 0,5А \\у - z II , где f(y, z ) =
k
1
1
( к )
(l
(2
{m)
2
(l
(2
{m
(k
= (f \y,
z)J \y,
z),. . . , f \y,
z ) ) , f \y,
z) =f (y)
A — положительная константа. Обозначим
k
<b*(y,A)
3.174
= min\<S>(y,A,z)\
zEQ],
+ </'O0,z - y ) , h = 1, 2,...
T(y, A) = argminjФ(.у, A, z ) |
zEQ\.
545
Отметим, что отображение у -* Т(у, А) является естественным обобщением для
задачи (8) "градиентного" отображения, введенного в [1] в связи с исследованием
методов минимизации функций вида max f (х). Для отображения у -» Т(у, А)
k
1
<к<т
(как и для "градиентного" отображения" из [1]) при всех хЕ Q, у Е E А>
полняется неравенство
t
(10)
Ф*(у,А)+А(у
-Т(у,А\х
2
-y)
+ 0 5AWy - Пу,А)\\
<
9
0 вы­
F(f(x))>
причем если А > F(L), то
0\y,A)>F(f(T(y.A))).
Для решения задачи (8) предлагается сле|^ующий метод.
0) Выбираем точку у Е Е. Полагаем
0
(11)
* = 0,
д =1,
x_ =y ,
0
t
i4_! = F ( Z ) ,
0
( 2
0
m )
( k)
где Г =
L \...,
Z, ), L
= \\f (y )
-f' (z)\\l \\y -z\\,z
- произвольная
точка из
Е,гФу .
1) к-я Итерация.
а) Вьгдасляем наименьший номер / > 0, для которого выполняется не­
равенство
0
0
0
0
k
0
k
0
0
(12)
ФЧу ,ГА _ )>Е(ПТ(у ГА _ ))).
к
б) Полагаем А
к
(13)
e
=
к
1
=2U*_
b
к9
х
=
к
к
1
Т(у ,А ),
к
к
1 +
*+i ( ^T+^/2,
Щх -Х _ )1а .
= **+(**: ~
к
к
1
к+Г
Нетрудно заметить, что метод (3)—(5) является просто другой формой
записи метода ( И ) — ( 1 3 ) для задачи безусловной минимизации (т.е. когда в (8)
m = l, F(y)=y,
Q = E).
Т е о р е м а 2. Если последовательность \х \^=
построена методом (11) —
( 1 3 ) , то:
1) для любого к > 0 F(f(x ))
- F(f(x*))
< CJ(k + 2 ) , где С =
= 4F(L)\\y -x*\\ ,
х*ЕХ*.
2) для достижения точности е по функционалу
необходимо:
а) решить вспомогательную задачу min{0(>'*, А, х)\ х Е Q\ не более
+ 1 m a x j l o g ( F ( Z ) M . 0 , 0 ц рагз,
к
0
2
k
х
2
0
2
w e
б)
вычислить набор градиентов
fl(y)
fi\y),
•••, /т(>0
более
]y/Cje[
раз,
в) вычислить вектор-функцию f (х) не более 2]\fCje[
+ ]max
\o% (F(L)lA„ \
0 } [ раз.
Теорема 2 доказывается практически так же, как и теорема 1. Необходимо
только вместо неравенства (2) использовать неравенство ( 1 0 ) , при этом аналогом
вектора 0L f\y )
будет вектор у - Т(у , А )
а аналогом % - в е л и ч и н ы А' .
Точно так же, как и в методе (3) —(5), в методе (11)—(13) можно учесть
информацию о константе F(L) и параметре сильной выпуклости функции F(f(x)) —
- m (для этого, правда, необходимо, чтобы у Е Q) .
В заключение отметим два важных частных случая задачи ( 8 ) , в которых
вспомогательная задача тт{Ф(у ,
А, х)\ хЕ Q | оказывается достаточно простой.
а) Минимизация гладкой выпуклой функции на простом множестве. Под
простым множеством мы понимаем такое множество, для которого оператор про­
ектирования записывается в явном виде. В этом случае в задаче (8) т= l,F(y)
=у
9
2
k
k
к
к
к 9
0
к
546
x
к
и в методе ( 1 1 ) - ( 1 3 )
,
2
И/(>011 + 0,5Л11
1
Ф*(у,А)=Г(у)-0,5А-
l
ny,A)-y+A- fXy)i\
l
где Т(у, А) = argmin {II у - A ' f\у)
- z II \z G Q}.
б) Безусловная минимизация (в задаче (8) Q = Е ) . В этом случае вспомо­
гательная задача т т { Ф ( . у , А, х)\ х G Е \ эквивалентна следующей двойствен­
ной задаче:
-0,5л-
1
2 X<*>/i(j0
fe=l fc=l
+ 2 А«Л(У)1 ( х
( 1 )
,х
( 2 )
(т
,.-., х >)е
eaF(o)}.
При этом Г С М ) ^ - ^
1
2
(
А %0/*О0, где X
w
(>>),*: = 1 , 2 , . . . , » ! , - р е -
шения задачи (14) при фиксированном у G Е . Отметим, что множество 3F(0)
обычно задается простыми ограничениями - линейными либо квадратичными. В та­
ких случаях задача (14) — стандартная задача квадратичного программирования.
Автор искренне признателен А.С. Немировскому за беседы, которые стиму­
лировали его интерес к рассмотренным вопросам.
Центральный экономико-математический институт
Академии наук СССР, Москва
Поступило
19 VII 1982
ЛИТЕРАТУРА
1. Немировский А.С, Юдин Д.Б. Сложность задач и эффективность методов оптимиза­
ции. М.: Наука, 1979.
2. Пшеничный Б.Н., Данилин ЮМ. Численные методы в экстремальных
задачах. М.: Наука, 1975.
УДК 515.1
МАТЕМАТИКА
Е.И. НОЧКА
К ТЕОРИИ МЕРОМОРФНЫХ КРИВЫХ
(Представлено академиком
B.C. Владимировым
18 V 1982)
1. Пусть задана мероморфная кривая, т.е. мероморфное отображение
/:
CP",
и пусть голоморфное отображение
/:
С - С
я
+
1
,
/=(А,
/2...../
Я
+
1),
является редуцированным представлением кривой
цию / определим, следуя А. Картану [ 1 ] :
Щ
г) = i 2л
Y
о
функ­
2
2
logl/(r^)| tf
f. Характеристическую
7
- log 1/(0)| .
Пусть А - гиперплоскость в CP" и а - единичный вектор такой, что равен­
ство (w, а) = 0 (скобки обозначают эрмитово скалярное произведение) есть урав­
нение гиперплоскости А в однородных координатах; обозначим f = (f, а\
A
547