三分法求凸函數(shù)的極值

求凸函數(shù)的極值是一個(gè)常見的問題，常見的方法如梯度下降法，牛頓法等，今天我們介紹一種三分法來求一個(gè)凸函數(shù)的極值問題。

創(chuàng)新互聯(lián)主營玉田網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,成都app開發(fā),玉田h5微信平臺(tái)小程序開發(fā)搭建,玉田網(wǎng)站營銷推廣歡迎玉田等地區(qū)企業(yè)咨詢

對(duì)于如下圖的一個(gè)凸函數(shù)$f(x),x\in [left,right]$,其中l(wèi)m和rm分別為區(qū)間[left,right]的三等分點(diǎn)，我們發(fā)現(xiàn)如果f(lm)f(rm)時(shí)，最值的橫坐標(biāo)x一定在[lm,right]的區(qū)間內(nèi)。

利用這個(gè)性質(zhì)，我們就可以在縮小區(qū)間的同時(shí)向目標(biāo)點(diǎn)逼近，從而得到極值。舉一個(gè)例子，如下圖在直角坐標(biāo)系中有一條拋物線y=ax^2+bx+c和一個(gè)點(diǎn)P(x,y)，求點(diǎn)P到拋物線的最短距離d，其中-200≤a,b,c,x,y≤200。我們另pivot代表拋物線的對(duì)稱抽，可以發(fā)現(xiàn)當(dāng)Xpivot，我們可以取left = pivot,right = inf, 反之left = -inf , right = pivot, 其距離恰好滿足凸形函數(shù)。而我們要求的最短距離d，正好就是這個(gè)凸形函數(shù)的極值。

望采納，謝謝。

凸函數(shù)有最小值還是最大值

. 緊集上的連續(xù)嚴(yán)格凸函數(shù)是有唯一極值點(diǎn)的。可以用反證法證明，假如x1, x2都是極值點(diǎn)，那么因?yàn)閲?yán)格凸?

與x1,x2是極值點(diǎn)矛盾。證畢。2. 開集上的嚴(yán)格凸函數(shù)不一定有極值點(diǎn)。比如?

通過求二階導(dǎo)可以驗(yàn)證其在(-∞,0]是凸的，但是不存在極值。3. 有界集上的連續(xù)可微函數(shù)是一定能通過梯度下降法找到極值點(diǎn)的，因?yàn)橛腥缦露ɡ恚ㄒ? Page 38)："設(shè)pk是下降方向（不一定是梯度），ak是步長并滿足Wolfe條件，設(shè)目標(biāo)函數(shù)f在Rn上有界，且在開集N上連續(xù)可微，N是包含{x: f(x)\u0026lt;=f(x0), x0是初始點(diǎn)}的集合，假設(shè)▽f在N上Lipschitz連續(xù)，那么有"?

其中θk是下降方向pk與-▽f的夾角。通過這條定理可以證明，梯度下降法和牛頓法，逆牛頓法都是收斂的。(1) 令pk = -▽f 可推出?

，故梯度下降法收斂(2) 令?

可推出?

，故牛頓法收斂。(3) 令?

，其中Bk是對(duì)稱矩陣，可推出 【多元連續(xù)嚴(yán)格凸函數(shù)是否存在唯一極值點(diǎn)】?

，故擬牛頓法收斂。4. 理論上步長ak應(yīng)該是計(jì)算出來的，在梯度下降法實(shí)際應(yīng)用中通常都是把步長選取一個(gè)較小的ak(取大了會(huì)震蕩)，是一個(gè)折衷的辦法，但是實(shí)際效果還不錯(cuò)。參考文獻(xiàn) Numerical Optimization 2ed. Chapter 3.

■網(wǎng)友的回復(fù)

看到這么多中文數(shù)學(xué)術(shù)語嚇到了……如果這個(gè)優(yōu)化問題定義在凸集合上的話：strictly convexity（嚴(yán)格凸性，感謝 @netfish 指出和strongly convex的區(qū)別）保證了函數(shù)一定有唯一的極值點(diǎn)，因?yàn)槿绻瘮?shù)有兩個(gè)極值點(diǎn)a和b都在集合內(nèi)部，那線段上的所有點(diǎn)函數(shù)值都是f(a)，也就是這條線段上函數(shù)的曲率為0，與嚴(yán)格凸性的定義（曲率/二階導(dǎo)處處非負(fù)）相悖。即使最優(yōu)解在集合邊界也不會(huì)出現(xiàn)多個(gè)解，因?yàn)閲?yán)格凸函數(shù)的等高線不可能是直線段（否則這個(gè)方向上的二階導(dǎo)為0），而凸集合的邊界不可能是“凹”的，所以不存在邊界多點(diǎn)有同樣函數(shù)值的情況。所有的凸函數(shù)都一定能用精確梯度下降（gradient descent with optimal line search）找到（一個(gè)，如果有多個(gè)的話）最優(yōu)解，因?yàn)橹挥性谧顑?yōu)解附近的導(dǎo)數(shù)是0梯度下降才會(huì)停下來，除非最優(yōu)無法達(dá)到（比如R++上的1/x這種函數(shù)，最優(yōu)在無窮）——不過題主要求函數(shù)定義在緊集合上了，所以沒有這種問題。因?yàn)槿绻荻认陆档搅艘粋€(gè)a點(diǎn)，如果其負(fù)梯度方向和集合在這一點(diǎn)的邊界的切線反向（大概是指向外面），則它就是最優(yōu)；否則，梯度下降肯定不能在這收斂——會(huì)沿著集合邊緣下降找到真正的最優(yōu)解。如果問題不是定義在凸集合，那就不好說了：比如在二維平面上定義f(x,y)=x^2+y^2（嚴(yán)格凸性）在Y軸右邊有一個(gè)開口朝左的月牙形集合，在這個(gè)上面做優(yōu)化，梯度下降就有可能找到月牙的任何一個(gè)端點(diǎn)（甚至極端情況下可能找到月牙的中間），這取決于初始化的位置。?

?

?

?

文

凸函數(shù)一定有最大值嗎

如果函數(shù) 在區(qū)間 上是凸函數(shù)，那么對(duì)于區(qū)間 內(nèi)的任意 ， ，…， ，都有 .若 在區(qū)間 上是凸函數(shù)，那么在 中， 的最大值是________________. 由新定義知

網(wǎng)頁題目：python凸函數(shù)最值 python求函數(shù)最值的方法
分享地址：http://sd-ha.com/article34/dojsepe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供用戶體驗(yàn)、商城網(wǎng)站、App開發(fā)、微信小程序、網(wǎng)站設(shè)計(jì)公司、云服務(wù)器

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)