網頁抓取原理
⑴ 360收錄如果抓取網站內容，抓取位置是固定還是隨意抓取，有什麼原理嗎
360機制跟網路機制差不了太多，首先它會抓取你網站的robots文件，其次，網站地圖（sitemap）進行抓取，再順著鏈接往下爬。要看你內鏈建設的怎麼樣，基本上是無規律可遁的。
⑵ 百度為什麼能搜到很多網頁原理是什麼
網路等網站搜索引擎原理大致如下
一、搜索引擎的分類
獲得網站網頁資料，能夠建立資料庫並提供查詢的系統，我們都可以把它叫做搜索引擎。按照工作原理的不同，可以把它們分為兩個基本類別：全文搜索引擎（FullText Search Engine）和分類目錄Directory）。
全文搜索引擎的資料庫是依靠一個叫「網路機器人（Spider）」或叫「網路蜘蛛（crawlers）」的軟體，通過網路上的各種鏈接自動獲取大量網頁信息內容，並按以定的規則分析整理形成的。Google、網路都是比較典型的全文搜索引擎系統。
分類目錄則是通過人工的方式收集整理網站資料形成資料庫的，比如雅虎中國以及國內的搜狐、新浪、網易分類目錄。另外，在網上的一些導航站點，也可以歸屬為原始的分類目錄，比如「網址之家」。
全文搜索引擎和分類目錄在使用上各有長短。全文搜索引擎因為依靠軟體進行，所以資料庫的容量非常龐大，但是，它的查詢結果往往不夠准確；分類目錄依靠人工收集和整理網站，能夠提供更為准確的查詢結果，但收集的內容卻非常有限。為了取長補短，現在的很多搜索引擎，都同時提供這兩類查詢，一般對全文搜索引擎的查詢稱為搜索「所有網站」或「全部網站」，比如Google的全文搜索（http://www.google.com/intl/zh-CN/）；把對分類目錄的查詢稱為搜索「分類目錄」或搜索「分類網站」，比如新浪搜索和雅虎中國搜索（http://cn.search.yahoo.com/dirsrch/）。
在網上，對這兩類搜索引擎進行整合，還產生了其它的搜索服務，在這里，我們權且也把它們稱作搜索引擎，主要有這兩類：
⒈元搜索引擎(META Search Engine)。這類搜索引擎一般都沒有自己網路機器人及資料庫，它們的搜索結果是通過調用、控制和優化其它多個獨立搜索引擎的搜索結果並以統一的格式在同一界面集中顯示。元搜索引擎雖沒有「網路機器人」或「網路蜘蛛」，也無獨立的索引資料庫，但在檢索請求提交、檢索介面代理和檢索結果顯示等方面，均有自己研發的特色元搜索技術。比如「metaFisher元搜索引擎」
（http://www.hsfz.net/fish/），它就調用和整合了Google、Yahoo、AlltheWeb、網路和OpenFind等多家搜索引擎的數據。
⒉集成搜索引擎（All－in－One Search Page）。集成搜索引擎是通過網路技術，在一個網頁上鏈接很多個獨立搜索引擎，查詢時，點選或指定搜索引擎，一次輸入，多個搜索引擎同時查詢，搜索結果由各搜索引擎分別以不同頁面顯示，比如「網際瑞士軍刀」（http://free.okey.net/%7Efree/search1.htm）。
二、搜索引擎的工作原理
全文搜索引擎的「網路機器人」或「網路蜘蛛」是一種網路上的軟體，它遍歷Web空間，能夠掃描一定IP地址范圍內的網站，並沿著網路上的鏈接從一個網頁到另一個網頁，從一個網站到另一個網站採集網頁資料。它為保證採集的資料最新，還會回訪已抓取過的網頁。網路機器人或網路蜘蛛採集的網頁，還要有其它程序進行分析，根據一定的相關度演算法進行大量的計算建立網頁索引，才能添加到索引資料庫中。我們平時看到的全文搜索引擎，實際上只是一個搜索引擎系統的檢索界面，當你輸入關鍵詞進行查詢時，搜索引擎會從龐大的資料庫中找到符合該關鍵詞的所有相關網頁的索引，並按一定的排名規則呈現給我們。不同的搜索引擎，網頁索引資料庫不同，排名規則也不盡相同，所以，當我們以同一關鍵詞用不同的搜索引擎查詢時，搜索結果也就不盡相同。
和全文搜索引擎一樣，分類目錄的整個工作過程也同樣分為收集信息、分析信息和查詢信息三部分，只不過分類目錄的收集、分析信息兩部分主要依靠人工完成。分類目錄一般都有專門的編輯人員，負責收集網站的信息。隨著收錄站點的增多，現在一般都是由站點管理者遞交自己的網站信息給分類目錄，然後由分類目錄的編輯人員審核遞交的網站，以決定是否收錄該站點。如果該站點審核通過，分類目錄的編輯人員還需要分析該站點的內容，並將該站點放在相應的類別和目錄中。所有這些收錄的站點同樣被存放在一個「索引資料庫」中。用戶在查詢信息時，可以選擇按照關鍵詞搜索，也可按分類目錄逐層查找。如以關鍵詞搜索，返回的結果跟全文搜索引擎一樣，也是根據信息關聯程度排列網站。需要注意的是，分類目錄的關鍵詞查詢只能在網站的名稱、網址、簡介等內容中進行，它的查詢結果也只是被收錄網站首頁的URL地址，而不是具體的頁面。分類目錄就像一個電話號碼薄一樣，按照各個網站的性質，把其網址分門別類排在一起，大類下面套著小類，一直到各個網站的詳細地址，一般還會提供各個網站的內容簡介，用戶不使用關鍵詞也可進行查詢，只要找到相關目錄，就完全可以找到相關的網站（注意：是相關的網站，而不是這個網站上某個網頁的內容，某一目錄中網站的排名一般是按照標題字母的先後順序或者收錄的時間順序決定的）。
搜索引擎並不真正搜索互聯網，它搜索的實際上是預先整理好的網頁索引資料庫。
真正意義上的搜索引擎，通常指的是收集了網際網路上幾千萬到幾十億個網頁並對網頁中的每一個詞（即關鍵詞）進行索引，建立索引資料庫的全文搜索引擎。當用戶查找某個關鍵詞的時候，所有在頁面內容中包含了該關鍵詞的網頁都將作為搜索結果被搜出來。在經過復雜的演算法進行排序後，這些結果將按照與搜索關鍵詞的相關度高低，依次排列。
現在的搜索引擎已普遍使用超鏈分析技術，除了分析索引網頁本身的內容，還分析索引所有指向該網頁的鏈接的URL、AnchorText、甚至鏈接周圍的文字。所以，有時候，即使某個網頁A中並沒有某個詞比如「惡魔撒旦」，但如果有別的網頁B用鏈接「惡魔撒旦」指向這個網頁A，那麼用戶搜索「惡魔撒旦」時也能找到網頁A。而且，如果有越多網頁（C、D、E、F……）用名為「惡魔撒旦」的鏈接指向這個網頁A，或者給出這個鏈接的源網頁（B、C、D、E、F……）越優秀，那麼網頁A在用戶搜索「惡魔撒旦」時也會被認為更相關，排序也會越靠前。
搜索引擎的原理，可以看做三步：從互聯網上抓取網頁→建立索引資料庫→在索引資料庫中搜索排序。
從互聯網上抓取網頁
利用能夠從互聯網上自動收集網頁的Spider系統程序，自動訪問互聯網，並沿著任何網頁中的所有URL爬到其它網頁，重復這過程，並把爬過的所有網頁收集回來。
建立索引資料庫
由分析索引系統程序對收集回來的網頁進行分析，提取相關網頁信息（包括網頁所在URL、編碼類型、頁面內容包含的關鍵詞、關鍵詞位置、生成時間、大小、與其它網頁的鏈接關系等），根據一定的相關度演算法進行大量復雜計算，得到每一個網頁針對頁面內容中及超鏈中每一個關鍵詞的相關度（或重要性），然後用這些相關信息建立網頁索引資料庫。
在索引資料庫中搜索排序
當用戶輸入關鍵詞搜索後，由搜索系統程序從網頁索引資料庫中找到符合該關鍵詞的所有相關網頁。因為所有相關網頁針對該關鍵詞的相關度早已算好，所以只需按照現成的相關度數值排序，相關度越高，排名越靠前。
最後，由頁面生成系統將搜索結果的鏈接地址和頁面內容摘要等內容組織起來返回給用戶。
搜索引擎的Spider一般要定期重新訪問所有網頁（各搜索引擎的周期不同，可能是幾天、幾周或幾月，也可能對不同重要性的網頁有不同的更新頻率），更新網頁索引資料庫，以反映出網頁內容的更新情況，增加新的網頁信息，去除死鏈接，並根據網頁內容和鏈接關系的變化重新排序。這樣，網頁的具體內容和變化情況就會反映到用戶查詢的結果中。
互聯網雖然只有一個，但各搜索引擎的能力和偏好不同，所以抓取的網頁各不相同，排序演算法也各不相同。大型搜索引擎的資料庫儲存了互聯網上幾億至幾十億的網頁索引，數據量達到幾千G甚至幾萬G。但即使最大的搜索引擎建立超過二十億網頁的索引資料庫，也只能佔到互聯網上普通網頁的不到30%，不同搜索引擎之間的網頁數據重疊率一般在70%以下。我們使用不同搜索引擎的重要原因，就是因為它們能分別搜索到不同的內容。而互聯網上有更大量的內容，是搜索引擎無法抓取索引的，也是我們無法用搜索引擎搜索到的。
你心裡應該有這個概念：搜索引擎只能搜到它網頁索引資料庫里儲存的內容。你也應該有這個概念：如果搜索引擎的網頁索引資料庫里應該有而你沒有搜出來，那是你的能力問題，學習搜索技巧可以大幅度提高你的搜索能力。
⑶ 百度蜘蛛抓取原理
網路蜘蛛，是網路搜索引擎的一個自動程序。它的作用是訪問收集整理互聯網上的網頁、圖片、視頻等內容，然後分門別類建立索引資料庫， 使用戶能在網路搜索引擎中搜索到您網站的網頁、圖片、視頻等內容。
一、網路蜘蛛的運行原理。
（1）通過網路蜘蛛下載回來的網頁放到補充數據區，通過各種程序計算過後才放到檢索區，才會形成穩定的排名，所以說只要下載回來的東西都可以通過指令找到，補充數據是不穩定的，有可能在各種計算的過程中給k掉，檢索區的數據排名是相對比較穩定的，網路目 前是緩存機制和補充數據相結合的，正在向補充數據轉變，這也是目 前網路收錄困難的原因，也是很多站點今天給k了明天又放出來的原因。
（2）深度優先和權重優先，網路蜘蛛抓頁面的時候從起始站點（即種子站點指的是一些門戶站點）是廣度優先抓取是為了抓取更多的網址，深度優先抓取的目的是為了抓取高質量的網頁，這個策略是由調度來計算和分配的，網路蜘蛛只負責抓取，權重優先是指反向連接較多的頁面的優先抓取，這也是調度的一種策略，一般情況下網頁抓取抓到40%是正常范圍，60%算很好，100%是不可能的，當然抓取的越多越好。
參考資料：http://ke..com/view/1847001.htm
⑷ 網頁表格數據能抓嗎抓取的原理是怎樣的呢
抓取網來頁的原理很簡源單，要麼是用爬蟲來在源碼中找符合前後標志的內容，要麼是模擬人工在瀏覽器中來識別需要的內容。
但是，整個過程涉及到很多細節方面，爬蟲的話，可能有些網站是實現不了的。要想能准確的抓到自己要的數據，特別是目標網站很多的情況下，首先要找到一個足夠強大的程序庫，不要從TCP通信這層開始做，這樣就容易得多了。假如網站比較復雜，需要登錄，輸驗證碼，或者需要很多查詢條件才恩能夠得到動態數據的話，那肯定只能是用哪種專業的，基於瀏覽器來操作的抓取軟體，例如，使用樂思採集系統就可以，現現成的不用費盡開發了
⑸ 請問：網頁抓取技術是什麼啊它的工作原理怎麼樣還有它的現狀如何
你多看看這樣的書籍吧 雖然我對這方面不太了解，但感覺這個名詞還是很眼熟的
⑹ 網頁信息採集技術的原理是什麼
網頁信息採集來技術是通過源分析網頁的HTML代碼,
獲取網內的超級鏈接信息,
使用廣度優先搜索演算法和增量存儲演算法,實現自動地連續分析鏈接、抓取文件、處理和保存數據的過程.
系統在再次運行中通過應用屬性對比技術,
在一定程度上避免了對網頁的重復分析和採集,
提高了信息的更新速度和全部搜索率。
由於網站內的資源常常分布在網內不同的機器上,
信息採集系統從某個給定的網址出發,
根據網頁中提供的超鏈接信息,
連續地抓取網頁(既可以是靜態的,
也可以是動態的)
和網路中的文件,
將網內的信息進行全部提取。
⑺ 求java實現網路爬蟲的原理（源代碼更好）
復雜的方法就是自己用java的相關類來模擬瀏覽器下載網頁頁面，然後使用DOM等技術從下載的網頁中獲取自己需要的內容。不過強烈建議你使用HttpClient和HttpParse框架來方便地實現網路爬蟲功能。其中HttpClient框架主要實現從WEB伺服器下載網頁數據，功能極其強大。而HttpParse框架則是從網頁文件中獲取不同標簽的內容，功能也很強大，而且使用十分方便，強烈推薦。
⑻ 百度等搜索引擎（網路蜘蛛）抓取頁面的原理
搜索引擎基本工作原理
了解搜索引擎的工作原理對我們日常搜索應用和網站提交推廣都會有很大幫助。
........................................................................................
■ 全文搜索引擎
在搜索引擎分類部分我們提到過全文搜索引擎從網站提取信息建立網頁資料庫的概念。搜索引擎的自動信息搜集功能分兩種。一種是定期搜索，即每隔一段時間（比如Google一般是28天），搜索引擎主動派出「蜘蛛」程序，對一定IP地址范圍內的互聯網站進行檢索，一旦發現新的網站，它會自動提取網站的信息和網址加入自己的資料庫。
另一種是提交網站搜索，即網站擁有者主動向搜索引擎提交網址，它在一定時間內（2天到數月不等）定向向你的網站派出「蜘蛛」程序，掃描你的網站並將有關信息存入資料庫，以備用戶查詢。由於近年來搜索引擎索引規則發生了很大變化，主動提交網址並不保證你的網站能進入搜索引擎資料庫，因此目前最好的辦法是多獲得一些外部鏈接，讓搜索引擎有更多機會找到你並自動將你的網站收錄。
當用戶以關鍵詞查找信息時，搜索引擎會在資料庫中進行搜尋，如果找到與用戶要求內容相符的網站，便採用特殊的演算法——通常根據網頁中關鍵詞的匹配程度，出現的位置/頻次，鏈接質量等——計算出各網頁的相關度及排名等級，然後根據關聯度高低，按順序將這些網頁鏈接返回給用戶。
........................................................................................
■ 目錄索引
與全文搜索引擎相比，目錄索引有許多不同之處。
首先，搜索引擎屬於自動網站檢索，而目錄索引則完全依賴手工操作。用戶提交網站後，目錄編輯人員會親自瀏覽你的網站，然後根據一套自定的評判標准甚至編輯人員的主觀印象，決定是否接納你的網站。
其次，搜索引擎收錄網站時，只要網站本身沒有違反有關的規則，一般都能登錄成功。而目錄索引對網站的要求則高得多，有時即使登錄多次也不一定成功。尤其象 Yahoo!這樣的超級索引，登錄更是困難。（由於登錄Yahoo!的難度最大，而它又是商家網路營銷必爭之地，所以我們會在後面用專門的篇幅介紹登錄 Yahoo雅虎的技巧）
此外，在登錄搜索引擎時，我們一般不用考慮網站的分類問題，而登錄目錄索引時則必須將網站放在一個最合適的目錄（Directory）。
最後，搜索引擎中各網站的有關信息都是從用戶網頁中自動提取的，所以用戶的角度看，我們擁有更多的自主權；而目錄索引則要求必須手工另外填寫網站信息，而且還有各種各樣的限制。更有甚者，如果工作人員認為你提交網站的目錄、網站信息不合適，他可以隨時對其進行調整，當然事先是不會和你商量的。
目錄索引，顧名思義就是將網站分門別類地存放在相應的目錄中，因此用戶在查詢信息時，可選擇關鍵詞搜索，也可按分類目錄逐層查找。如以關鍵詞搜索，返回的結果跟搜索引擎一樣，也是根據信息關聯程度排列網站，只不過其中人為因素要多一些。如果按分層目錄查找，某一目錄中網站的排名則是由標題字母的先後順序決定（也有例外）。
目前，搜索引擎與目錄索引有相互融合滲透的趨勢。原來一些純粹的全文搜索引擎現在也提供目錄搜索，如Google就借用Open Directory目錄提供分類查詢。而象 Yahoo! 這些老牌目錄索引則通過與Google等搜索引擎合作擴大搜索范圍（注）。在默認搜索模式下，一些目錄類搜索引擎首先返回的是自己目錄中匹配的網站，如國內搜狐、新浪、網易等；而另外一些則默認的是網頁搜索，如Yahoo。
⑼ 蜘蛛爬蟲的原理和作用
網路蜘蛛即Web Spider，是一個很形象的名字。把互聯網比喻成一個蜘蛛網，那麼Spider就是在網上爬來爬去的蜘蛛。
這個條目所描述的內容英文名叫做Web Crawler，這是有正規定義的，參見維基網路。業界內也很少叫蜘蛛的，一般都叫做網路爬蟲，Spider只是個別爬蟲的名稱。建議將詞條名稱改為網路爬蟲。
網路蜘蛛是通過網頁的鏈接地址來尋找網頁
網路蜘蛛
，從網站某一個頁面（通常是首頁）開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然後通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站，那麼網路蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。
----這樣看來，網路蜘蛛就是一個爬行程序，一個抓取網頁的程序。
⑽ 蜘蛛信息抓取原理,主要是指程序實現在的原理決對高分
一般而言，大的網站都是使用模版生成的網頁，某類網頁中一定可以找回到獨一無二的標記：比如答<div xxx="xxx">，或者<td id="XXXX">、<span class="xxxx">之類的，要將網頁的內容解析出來是可以的，但很麻煩，如一個新聞解析的自動程序，每天定時自動從定義的各類索引頁面中下載信息（包括圖片），添加到自己的資料庫中，大大節省人力:） 討厭的是，如果你定義的網站更換了模版，你就要改寫代碼 流程通常為： 1、定義一個索引庫，將索引分類，各類使用各自的解析常式，添加你要去下載的索引，相對固定 2、定義一個Url庫，將索引頁面的更新信息定時取回來，解析成：標題，日期，URL，來源，類別，等，當然還要有一個欄位，就是是否已經被下載 3、你自己的資料庫，從URL庫中讀取沒有下載的，一個一個取下載解析 所以你的程序: 1、多線程的 2、必須首先實現索引解析 3、通過索引解析，獲取信息頁面，進行真實數據的解析，將圖片、文字等有用信息放到自己的資料庫里