python最小二乘法
1. 怎麼用python將圖像邊界用最小二乘法擬合成曲線
本文實例講述了Python基於最小二乘法實現曲線擬合。分享給大家供大家參考,具體如下:
這里不手動實現最小二乘,調用scipy庫中實現好的相關優化函數。
考慮如下的含有4個參數的函數式:
希望本文所述對大家Python程序設計有所幫助。
2. Python怎麼做最優化
一、概觀
scipy中的子包中提供了常用的最優化演算法函數實現。我們可以直接調用這些函數完成我們的優化問題。optimize中函數最典型的特點就是能夠從函數名稱上看出是使用了什麼演算法。下面optimize包中函數的概覽:
1.非線性最優化
fmin -- 簡單Nelder-Mead演算法
fmin_powell -- 改進型Powell法
fmin_bfgs -- 擬Newton法
fmin_cg -- 非線性共軛梯度法
fmin_ncg -- 線性搜索Newton共軛梯度法
leastsq -- 最小二乘
2.有約束的多元函數問題
fmin_l_bfgs_b ---使用L-BFGS-B演算法
fmin_tnc ---梯度信息
fmin_cobyla ---線性逼近
fmin_slsqp ---序列最小二乘法
nnls ---解|| Ax - b ||_2 for x>=0
3.全局優化
anneal ---模擬退火演算法
brute --強力法
4.標量函數
fminbound
brent
golden
bracket
5.擬合
curve_fit-- 使用非線性最小二乘法擬合
6.標量函數求根
brentq ---classic Brent (1973)
brenth ---A variation on the classic Brent(1980)ridder ---Ridder是提出這個演算法的人名
bisect ---二分法
newton ---牛頓法
fixed_point
7.多維函數求根
fsolve ---通用
broyden1 ---Broyden』s first Jacobian approximation.
broyden2 ---Broyden』s second Jacobian approximationnewton_krylov ---Krylov approximation for inverse Jacobiananderson ---extended Anderson mixing
excitingmixing ---tuned diagonal Jacobian approximationlinearmixing ---scalar Jacobian approximationdiagbroyden ---diagonal Broyden Jacobian approximation8.實用函數
line_search ---找到滿足強Wolfe的alpha值
check_grad ---通過和前向有限差分逼近比較檢查梯度函數的正確性二、實戰非線性最優化
fmin完整的調用形式是:
fmin(func, x0, args=(), xtol=0.0001, ftol=0.0001, maxiter=None, maxfun=None, full_output=0, disp=1, retall=0, callback=None)不過我們最常使用的就是前兩個參數。一個描述優化問題的函數以及初值。後面的那些參數我們也很容易理解。如果您能用到,請自己研究。下面研究一個最簡單的問題,來感受這個函數的使用方法:f(x)=x**2-4*x+8,我們知道,這個函數的最小值是4,在x=2的時候取到。
from scipy.optimize import fmin #引入優化包def myfunc(x):
return x**2-4*x+8 #定義函數
x0 = [1.3] #猜一個初值
xopt = fmin(myfunc, x0) #求解
print xopt #列印結果
運行之後,給出的結果是:
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 16
Function evaluations: 32
[ 2.00001953]
程序准確的計算得出了最小值,不過最小值點並不是嚴格的2,這應該是由二進制機器編碼誤差造成的。
除了fmin_ncg必須提供梯度信息外,其他幾個函數的調用大同小異,完全類似。我們不妨做一個對比:
from scipy.optimize import fmin,fmin_powell,fmin_bfgs,fmin_cgdef myfunc(x):
return x**2-4*x+8
x0 = [1.3]
xopt1 = fmin(myfunc, x0)
print xopt1
print
xopt2 = fmin_powell(myfunc, x0)
print xopt2
print
xopt3 = fmin_bfgs(myfunc, x0)
print xopt3
print
xopt4 = fmin_cg(myfunc,x0)
print xopt4
給出的結果是:
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 16
Function evaluations: 32
[ 2.00001953]
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 2
Function evaluations: 53
1.99999999997
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 2
Function evaluations: 12
Gradient evaluations: 4
[ 2.00000001]
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 2
Function evaluations: 15
Gradient evaluations: 5
[ 2.]
我們可以根據給出的消息直觀的判斷演算法的執行情況。每一種演算法數學上的問題,請自己看書學習。個人感覺,如果不是純研究數學的工作,沒必要搞清楚那些推導以及定理雲雲。不過,必須了解每一種演算法的優劣以及能力所及。在使用的時候,不妨多種演算法都使用一下,看看效果分別如何,同時,還可以互相印證演算法失效的問題。
在from scipy.optimize import fmin之後,就可以使用help(fmin)來查看fmin的幫助信息了。幫助信息中沒有例子,但是給出了每一個參數的含義說明,這是調用函數時候的最有價值參考。
有源碼研究癖好的,或者當你需要改進這些已經實現的演算法的時候,可能需要查看optimize中的每種演算法的源代碼。在這里:https:/ / github. com/scipy/scipy/blob/master/scipy/optimize/optimize.py聰明的你肯定發現了,順著這個鏈接往上一級、再往上一級,你會找到scipy的幾乎所有源碼!
3. 誰有最小二乘蒙特卡洛方法的美式期權定價python程序代碼
function [c,p]=ucoption(S,X,sigma,r,T,M) sig2=sigma^2; srT=sqrt(T); srTa=sigma*srT; c=0; p=0; for i=1:M ST=S*exp((r-0.5*sig2)*T+srTa*randn); c=c+max(ST-X,0); p=p+max(X-ST,0); end c=c/M; p=p/M; [Call,Put] = blsprice(S, X, r, T, ...
4. 如何應用最小二乘法進行實驗曲線擬合
看你的數據,50那個點可能測量不準如果用二次擬合是y=-0.0024*x^2+0.2037*x+0.2305一次擬合是y=0.0728*x+1.3215誤差自己算一下吧不好意思,有急事
5. Python中+=是什麼意思
1、兩個值相加,然後返回值給符號左側的變數
舉例如下:
>>> a=1
>>> b=3
>>> a+=b(或者a+=3)
>>> a
4
2、用於字元串連接(變數值帶引號,數據類型為字元串)
>>> a='1'
>>> b='2'
>>> a+=b
>>> a
'12'
8、運算符優先順序
以下所列優先順序順序按照從低到高優先順序的順序;同行為相同優先順序。
Lambda #運算優先順序最低
邏輯運算符: or
邏輯運算符: and
邏輯運算符:not
成員測試: in, not in
同一性測試: is, is not
比較: <,<=,>,>=,!=,==
按位或: |
按位異或: ^
按位與: &
移位: << ,>>
加法與減法: + ,-
乘法、除法與取余: *, / ,%
正負號: +x,-x
具有相同優先順序的運算符將從左至右的方式依次進行,用小括弧()可以改變運算順序。
參考資料來源:網路-Python
6. python 有沒有最小二乘法回歸包
線性回歸可以讓X 的平均數和Y的平均數落在一條直線上。換句話說,用最小二乘法可以讓數據中盡可量多的點落在同一條直線上。詳情參照高中數學教科書。
7. 如何用python作空間自回歸模型
基本形式
線性模型(linear model)就是試圖通過屬性的線性組合來進行預測的函數,基本形式如下:
f(x)=wTx+b
許多非線性模型可在線性模型的基礎上通過引入層結構或者高維映射(比如核方法)來解決。線性模型有很好的解釋性。
線性回歸
線性回歸要求均方誤差最小:
(w∗,b∗)=argmin∑i=1m(f(xi)−yi)2
均方誤差有很好的幾何意義,它對應了常用的歐式距離(Euclidean distance)。基於均方誤差最小化來進行模型求解稱為最小二乘法(least square method),線性回歸中,最小二乘發就是試圖找到一條直線,使得所有樣本到直線的歐式距離之和最小。
我們把上式寫成矩陣的形式:
w∗=argmin(y−Xw)T(y−Xw)
這里我們把b融合到w中,X中最後再加一列1。為了求最小值,我們對w求導並令其為0:
2XT(Xw−y)=0
當XTX為滿秩矩陣(full-rank matrix)時是可逆的。此時:
w=(XTX)−1XTy
令xi=(xi,1),可以得到線性回歸模型:
f(xi)=xTi(XTX)−1XTy
8. 關於minitab 做偏最小二乘法pls的問題
minitab——回歸-偏最小二乘、matlab——plsregress、Python ——from sklearn.cross_decomposition import PLSRegression
這三個PLS的結果全部都不一樣
其中matlab與Python結果相差不大,可能是由於matlab使用SIMPLS演算法,Python使用NIPALS造成的。
但是minitab的結果相差太大。
SPSS竟然沒有PLSR,還要安裝擴展包,裝完擴展包還要你安裝Python2.7。
9. 矩陣參數怎麼用最小二乘法擬合
10. 應用最小二乘法對電阻伏安特性曲線進行擬合
你是需要復代碼實現還是公制式推導呢?推導的話網路就有,代碼的話python:http://blo