pythoncaffe

A. 怎樣用python調用已經訓練好的caffe

定義CAFFE為caffe跟目錄，caffe的核心代碼都在$CAFFE/src/caffe 下，主要有以下部分：net, blob, layer, solver.

• net.cpp:
  net定義網路， 整個網路中含有很多layers， net.cpp負責計算整個網路在訓練中的forward, backward過程， 即計算forward/backward 時各layer的gradient。
  
  

• layers:
  在$CAFFE/src/caffe/layers中的層，在protobuffer (.proto文件中定義message類型，.prototxt或.binaryproto文件中定義message的值) 中調用時包含屬性name， type（data/conv/pool…）， connection structure (input blobs and output blobs)，layer-specific parameters（如conv層的kernel大小）。定義一個layer需要定義其setup, forward 和backward過程。
  
  

• blob.cpp:
  net中的數據和求導結果通過4維的blob傳遞。一個layer有很多blobs， e.g,

• 對data，weight blob大小為Number * Channels * Height * Width, 如256*3*224*224；

• 對conv層，weight blob大小為 Output 節點數 * Input 節點數 * Height * Width，如AlexNet第一個conv層的blob大小為96 x 3 x 11 x 11；

• 對inner proct 層， weight blob大小為 1 * 1 * Output節點數 * Input節點數； bias blob大小為1 * 1 * 1 * Output節點數（ conv層和inner proct層一樣，也有weight和bias，所以在網路結構定義中我們會看到兩個blobs_lr，第一個是weights的，第二個是bias的。類似地，weight_decay也有兩個，一個是weight的，一個是bias的）；
  
  
  blob中，mutable_cpu/gpu_data() 和cpu/gpu_data()用來管理memory，cpu/gpu_diff()和 mutable_cpu/gpu_diff()用來計算求導結果。
  
  

• slover.cpp:
  結合loss，用gradient更新weights。主要函數：
  Init(),
  Solve(),
  ComputeUpdateValue(),
  Snapshot(), Restore(),//快照（拷貝）與恢復 網路state
  Test()；
  
  在solver.cpp中有3中solver，即3個類：AdaGradSolver, SGDSolver和NesterovSolver可供選擇。
  
  關於loss，可以同時有多個loss，可以加regularization（L1/L2）；

Protocol buffer：

上面已經將過， protocol buffer在 .proto文件中定義message類型，.prototxt或.binaryproto文件中定義message的值；

• Caffe
  Caffe的所有message定義在$CAFFE/src/caffe/proto/caffe.proto中。

• Experiment
  在實驗中，主要用到兩個protocol buffer: solver的和model的，分別定義solver參數（學習率啥的）和model結構(網路結構)。



• 好吧，了一大段，不曉得有沒有幫助，說點accuracy = 0.5的問題。簡單說，就是分錯了，好吧我知道這是廢話。既然是分錯了，那麼就要檢查下了，首先檢查你的訓練模型。


• 根據訓練過程來看，訓練應該是已經收斂了，（反正loss一直在減小）。


• 這句可能是我理解問題，如果模型收斂的話，loss應該趨於平穩，如這樣。


B. caffe的python介面求助

一、前期環境以及准備1、安裝在caffe中，python2和python3的介面都有。但frcnn中只能支持python2.7，所以千萬不要裝成python3。為了方便，不用自己去pip一大堆庫，我建議安裝anaconda2，裡面已經安裝了很多第三方的庫。另附python，Windows的第三方庫，裡面很全。或許有一些庫你要去官網上下載。2、安裝（更新）顯卡驅動和cudaNVIDIA的顯卡驅動安裝應該不用我說了吧，到官網上下載吧。我要說明一點的是，我的1080ti在安裝顯卡驅動時，說和Windows不匹配。怎麼解決呢？更新Windows，到官網上下驅動，再安裝。成功！還有就是記得更新你的顯卡驅動，以防老的驅動不支持cuda。CUDA安裝的話，也是傻瓜試的安裝。提醒一點的是，不要改變他的安裝路徑，默認路徑。然後去NVIDIA的官網上下載cudnn庫，這個庫的話需要去NVIDIA注冊一個賬號，然後問你用這個來完成什麼工作之類的巴拉巴拉。這個庫長什麼樣呢？下載完解壓縮，得到一個cuda的文件夾，裡面有3個文件夾然後打開你的CUDA文件夾，默認路徑是C:\ProgramFiles\NVIDIAGPUComputingToolkit\CUDA\v8.0把cudnn庫裡面的3個文件夾裡面的文件，分別加到cuda裡面對應的文件夾。然後打開cuda需要編譯的部分，默認路徑是C:\ProgramData\NVIDIACorporation\CUDASamples\v8.0因為我用的VS2015，那麼我就用打開2015的那個，然後改成release運行。至此，顯卡計算的環境就搭建完成了。3、cmake和gitcmake的話，我建議直接下載編譯好的能運行的文件（到官網上下載），然後解壓文件，把bin的路徑添加到Path中。git：因為frcnn裡面有很多linux的腳本，你可以不用，但用的話會很方便的。所以我建議安裝git。同樣，傻瓜式的安裝，直接到官網上下載。二、py-faster-rcnn1、編譯caffe的python介面GPU版本（如果你編譯過了就不用了）因為frcnn的編譯過程用需要用到python的caffe包，所以必須要先編譯一次caffe。如果你已經編譯過caffe的py介面就不用了。下載微軟的Caffe，git的地址你可以用git直接下載，或者在git的地址里下載，隨便你。[plain]打開caffe\scripts，然後編輯build_win.cmd文件第7行的VERSION是你VS的版本，VS2015對應的是14，VS2013對應的應該是12；第8行改為0；第9行改為0（如果你不用GPU，那就還是1）；13行的python_version是你的python版本，2.x就是2，3.x就是3；24,28行是你的python的安裝目錄，如果你是anaconda就改你的anaconda的目錄，否則就不改。同樣69-95行同樣修改。以上2張圖是我的cmake文件配置。進入caffe\scripts，打開cmd，直接執行build_win.cmd。注意他會自動下載需要的庫，因為伺服器呢都不在國內，所以我建議掛個VPN，不然你且等呢吧。這樣cmake後呢，python的介面就已經編譯好了，不用再編譯一遍了。把caffe\python下的caffe的文件夾到python的第三方包的文件夾就ok。這樣caffe的python介面就好了，你可以進cmd的python試一下importcaffe。如果說，他提示少了什麼包，你直接pip這個包就好了，找不到的話，網路一下就有。但只要你跟著上面我的方法做應該不會出現什麼問題。2、編譯py-faster-rcnn依賴庫首先呢，我們先去編譯一下frcnn的依賴庫。Windows下，不能使用自帶的lib，把自帶的lib刪了，重新下載，這里給出git的地址。好了，現在你的庫應該長成這樣，有setup.py和setup_cuda.py。進cmd，install這2個文件。現在你肯定會遇到問題，提示你VC版本不對怎麼呢，先set一下：輸入SETVS90COMNTOOLS=%VS140COMNTOOLS%，VS後面的數字就是你的版本。還有不要忘了把你VS的c1.exe加到path下。編譯好frcnn的依賴庫後，應該是這個樣子的。3、給caffe加frcnn的層現在，我們再下載一個caffe，跟前面一樣，把build_win.cmd進行修改。然後我們就可以把frcnn的一些特有的層加到caffe里編譯了。1）添加層和文件打開py-faster-rcnn\caffe-fast-rcnn\src\caffe\layers文件夾，找到4個文件分別為然後到你新的caffe的對應文件夾caffe\src\caffe\layers里。接著我們添加頭文件，打開py-faster-rcnn\caffe-fast-rcnn\include\caffe，把fast_rcnn_layers.hpp這文件到caffe的對應文件夾下caffe\include\caffe。2）配置2個新層打開你的caffe\src\caffe\proto下的caffe.proto，進行編輯。在407行左右往原來的文件里添加新的層的配置信息[plain]_pooling_param=8266711;_l1_loss_param=8266712;messageROIPoolingParameter{//Pad,kernelsize,//,Xpairs.optionaluint32pooled_h=1[default=0];//_w=2[default=0];//Thepooledoutputwidth////_scale=3[default=1];}messageSmoothL1LossParameter{//SmoothL1Loss(x)=//0.5*(sigma*x)**2--ifx<1.0/sigma/sigma//|x|-0.5/sigma/sigma--otherwiseoptionalfloatsigma=1[default=1];}3）cmake新的caffe的python介面就是再執行一遍build_win.cmd就行。編譯好之後，把caffe根目錄下的python文件夾替換py-faster-rcnn\caffe-fast-rcnn的python文件夾。三、demo完成以上步驟你的py-faster-rcnn就已經編譯成功了。如果你想用demo測試一下的話可以用.\data\scripts里的腳本去下載已經訓練好的model，文件挺大的、速度挺慢的。所以給大家提供一個網路5，把caffemodel文件放在data\faster_rcnn_models，然後執行tools\demo.py就能看到結果了

C. 如何用python介面調用caffemodel

在python中調用dll文件中的介面比較簡單，實例代碼如下：如我們有一個test.dll文件，內部定義如下：extern "C"{int __stdcall test( void* p, int len){ return len;}

D. 為什麼每次從python導入caffe都要編譯介面

原因

1. 安裝python:yum install python-devel.x86_64

2. Makefile.config修改WITH_PYTHON_LAYER := 1 #取消注釋

3. 安裝python依賴如果安裝 Anaconda Python可以免去下面步驟cd $CAFFE_ROOT/python
   for req in $(cat requirements.txt); do pip install $req; done

4. 編譯make cleanmake pycaffe -j32make test -j32

5. 使Caffe的python介面永久生效vim /etc/profileprofile最後添加: export PYTHONPATH=/root/$CAFFE_ROOT/python:$PYTHONPATHsource /etc/profile

E. 怎麼才能讓python2和python3同時都能調用caffe

設置一個環境變數就可以了，這樣在命令行下就可以使用那個版本的python。
一些python的IDE還會讓你選擇哪一個python版本做為編譯器。

F. python caffe 怎麼做測試

sudo ./build/examples/cpp_classification/classification.bin \ 路徑/deploy.prototxt \ 路徑/1_iter_500.caffemodel \ 路徑/mean.binaryproto \ 路徑/synset_words.txt \ 路徑/test.jpg

G. 如何將caffe/python加到環境變數里去

不會的，你設置一個環境變數就可以了，這樣在命令行下就可以使用那個版本的python。我同時裝的3.5和2.7。一些python的IDE還會讓你選擇哪一個python版本做為編譯器。非常方便。

H. caffe中怎麼寫python層

這兩天一直在研究faster rcnn的源碼，可是依舊感覺雲里霧里，故下定決心把caffe調用Python
layer的流程仔細走一遍，好明白到底是什麼在調用python layer。話說 linux
調試還真是蛋疼啊，木有ide那樣直接下斷點，gdb又不會用，只能傻比比的不斷的LOG(INFO)輸出。還好最終還是明白了，我就直接順著
faster rcnn來說，並記錄在此。
faster
rcnn最核心的代碼就是在lib文件中，其他的都只是各種調用文件而已。不過lib里寫了很多個模塊，如何讓caffe知道模塊在哪裡，並調用呢？這是
我搞一晚上的初衷。我先大概說一下caffe正常的流程，首先從文件中讀入solver並生成一個solver，然後根據solver的net路徑生成一
個net，net調用layer_factory循環生成每個層，最後根據讀入model或是filler來初始化參數。實際上也怪自己馬虎大意，沒太細
看代碼，導致所用的時間比較多。從上面的流程可以知道layer_factory是循環生成每個層，我看.cpp文件也的確寫了#if
WITH_PYTHON_LAYER，然後有什麼什麼操作，比如儲存python
layer的python_param，並調用setup，不過我沒看出來這里實際上已經是利用boost進行C++
Python混編了。這些操作的定義就在python_layer.hpp文件中，我當初還以為在什麼pythonXXX.cpp中，找了半天也沒找到。
layer_factory中python
layer的setup相關具體操作是，先根據param找到mole的位置，再載入mole，再根據層名載入層，然後前向計算反向計算什麼的。
這些就已經算是達到目的了。不過只是知道相對路徑，怎麼可能載入成功呢？然後又繼續找啊找，終於在faster
rcnn的tools文件中找到。_init_paths里有寫一些預操作，比如將lib路徑寫入PYTHONPATH中，當然如果寫入的話，這樣就可以
直接載入了。終於搞定。
這次也算是個小問題而已，不過只有再理清了整條脈絡，看代碼才會更加清晰，故也算是個重要的問題吧。不過這次也算是暴露了我不認真的問題，以後還是要耐心仔細找答案才行啊。

I. 如何讓caffe同時支持python2.7和python3.4

你可以在caffe的目錄里修改Makefile.config這個文件相關參數，來配置Python3.4.Ubuntu系統允許多個版本存在。目前，版是Python 3.5，較好安裝python anaconda工具開發。
Caffe可以說是第一個工業級深度學習工具，始於2013年底由UC Berkely的賈楊清編寫的具有出色的CNN實現功能的開發語言，在計算機視覺領域Caffe仍然是最流行的工具包