① 手機如何加密，瀏覽網站,防止抓取

方法/步驟
設備准備工作：一台帶有無線網卡的PC或者筆記本電腦，然後將電腦和手機連接到同一個Wi-Fi網路中，並且保證二者是在同一個ip網段內。
下載安裝Fiddler及fiddlercertmaker，其中fiddlercertmaker擴展主要是為了抓取https的加密連接，如果沒有這方面的需求，可以省略掉此擴展的下載安裝。網路關鍵字「Fiddler」，第一個是網路下載中心的軟體下載，可以直接下載，也可以到第二個的官網下載，官網有兩個版本，分別基於.Net4和.Net2，可酌情下載。

安裝過程就省略了，沒有任何需要功能設置的選項，只需選擇安裝路徑即可。安裝後，運行Fiddler。運行後的窗口如下圖。

點擊「Tools」菜單，選擇「Fiddler Options...」菜單，打開設置窗體。

在設置窗體中，切換到「」頁面，請對照頁面進行完全一樣的選項設置。

獲取電腦的IP地址，如圖所示：在打開的Fiddler窗口中，工具欄的最右邊，找到online按鈕，滑鼠移動到按鈕上，既有提示信息顯示了。記下這個IP地址，稍後需要在手機中設置此地址。

手機設置，設置代理服務地址及埠。因手上只有小米2一台，所以設置的截圖也是此手機的，具體的設置方法可能手機略有不同吧，這個就請自行研究了。

手機訪問了天貓，再看看電腦端，哈哈，就是這個數據了。

抓取https的數據包，需要下載一個擴展組件fiddlercertmaker，可以網路這個關鍵詞或是在官網下載。下載後，直接安裝即可。

在Fiddler中選項設置中，點擊菜單欄上的 Tools - Fiddler Options - HTTPS,勾選上Decrypt HTTPS traffic ，然後重啟Fiddler。

在手機瀏覽器中，直接訪問電腦端的IP地址+埠。比如我這里的：192.168.31.162:8888，在打開的頁面中點擊下載證書連接。
接下來可以手機訪問一個https的連接了。看看抓到的數據吧。至此，手機訪問的數據都可以在PC端進行抓取分析了。

② 如何禁止搜索引擎爬蟲（Spider）抓取網站頁面

一般情況，大家都是希望搜索引擎爬蟲盡可能多的抓取自己的網站，但有時內也需要告訴爬蟲不要容抓取，比如，不要抓取鏡像頁面等。
以下列舉了屏蔽主流搜索引擎爬蟲（蜘蛛）抓取/索引/收錄網頁的幾種思路。注意：是整站屏蔽，而且是盡可能的屏蔽掉所有主流搜索引擎的爬蟲（蜘蛛）。
1、通過 robots.txt 文件屏蔽

③ 如何防止網站獲取瀏覽器瀏覽痕跡

點擊IE瀏覽器的小齒輪（設置），然後點擊管理載入項，在裡面找到那個工具欄和擴展，找到那個載入項禁用就可以了。

④ 大家有什麼好方法，防止頁面被機器人curl抓取

在.htaccess里加入

RewriteCond %{REMOTE_HOST} ^123.456.789..*
RewriteRule ^.*$ X.html [L]

123.456.789 改為爬蟲地址。

⑤ 如何防止網站內容被別的網站惡意抓取

三種實用的方法。

1、文章頭尾加隨機廣告..
2、文章列表加隨機不同的鏈接標簽，比如<a href="",<a class="dds" href=''
3、正文頭尾或列表頭尾添加<!--重復特徵代碼-->

第一種防採集方法:
下面我詳細說一下這三種方法的實際應用:

如果全加上，絕對可以有效的防採集,單獨加一種就可以讓採集者頭疼。。
完全可以對付通用的CMS採集程序。。

在採集時,通常都是指定頭尾特徵從哪到哪過濾.這里我們先講第一種方法,文章頭尾加隨機廣告..
隨機廣告是不固定的。

比如你的文章內容是"歡迎訪問阿里西西",那麼隨機廣告的加入方法：
<div id="xxx">
隨機廣告1歡迎訪問阿里西西隨機廣告2
</div>
注:隨機廣告1和隨機廣告2每篇文章只要隨機顯示一個就可以了.

第二種防採集方法:
<!--<div id="xxx_文章ID">-->
其它標題或內容...
<!--<div id="xxx_文章ID">--> <div id="xxx_文章ID">
隨機廣告1歡迎訪問阿里西西隨機廣告2
<--</div>-->
</div>
<--</div>-->

這是第二種防採集方法。在文章正文頁面插入重復特徵頭尾代碼的注釋。
當然，這個可以用正則去掉，但足於對付通用的採集系統。。

第三種防採集方法:

第三種加在文章的列表，隨便鏈接樣式:
<a href="xxx.html">標題一</a>
<a alt="xxx" href="xxx.html">標題二</a>
<a href='xxx.html'>標題三</a>
<a href=xxx.html>標題四</a>

原理是讓採集的人無法抓到列表鏈接規律,無法批量進行採集.
如果三種方法全部加上,我想一定能讓想採集的人頭疼半天而放棄的..
如果你還問,如何防止別人復制採集呢?要做到這一點容易,把你的網站的網線拔了,自己給自己看就好了.哈哈.

如果你的文章來自原創,那像可以加上版權聲明,別人隨意轉載時,你可以要求對方刪除你有版權的文章.

⑥ 如何防止私密網站被Google抓取

搜索引擎資料庫中的所有網頁，都是由Robot程序自動抓取收錄的。但我們網站上總會有部分私密性數據不希望被搜索引擎抓取，這時候，就需要robots.txt。
robots.txt 是一個標准文檔，意在阻止搜索引擎的Spider(蜘蛛）從您的 Web 伺服器下載某些或全部信息，控制Spider的搜索范圍。robots.txt的設置很簡單，只要用記事本或其他文本編輯器，依照自己的網站需求，設定一系列選項，然後將其上傳到網站根目錄即可。robots.txt的設置如下：
User-agent: 搜索引擎的spider代號
Disallow: 輸入數據夾或文件名的路徑
如設定所有的spider都能夠搜索及抓取整個網站。
User-agent: *Disallow:如拒絕Google搜索及抓取整個網站，但允許其它的
User-agent: GooglebotDisallow:如拒絕所有的Spider
User-agent: *
Disallow: /
如拒絕所有的Spider搜索及抓取protect目錄及seo目錄下abc.html文件
User-agent: *
Disallow: /protect/
Disallow: /seo/abc.html
如拒絕google搜索及抓取protect目錄及seo目錄下abc.html文件，但允許其他的
User-agent: Googlebot
Disallow: /protect/
很簡單吧？另有一點請記住，搜索引擎不會立即對robots.txt 文件所作的更改作出反應，必須等到搜索引擎下一次讀取該文件。

⑦ 防止網站數據被別人抓取，有哪些途徑和具體的措施

除了關閉網站，沒有其他辦法，你即使做了禁止滑鼠右鍵，或者禁止復制，這些只是表面，真正要拷貝你網站的你攔不住。

⑧ 如何防止網站被爬蟲爬取的幾種辦法

用robots.txt

⑨ 怎麼可以防止網頁被抓取 - 技術問答

看你的需求了，可以搞得很復雜，也可以搞得很low。之前是做採集的，算不上大神級別。不過可以說80%以上的H5、網頁、app可以搞定。單擊和分布式爬蟲都弄過。日採集上千萬數據的不少。覆蓋也比較廣，視頻、電商、新聞、輿論分析類等等。總結起來，每個網站的難度都不一樣，99%數據是可以抓取到的。網路就是國內最大的爬蟲，所以想要完全禁止的，除非伺服器關了，數據刪了。否則要採集的手段太多了，無外乎就是出於成本上的考慮。
反爬蟲也是需要付出成本的，包括了體驗差導致用戶流失，內部用的走內網。給用戶用的只能做到減少，如果你的數據很有價值，建議是請一個有實力的技術做一些防護。網路上能回答的基本是有解的。
總結一下：反爬只能防君子，防不了小人，可以加大難度，方法也有很多。不過也只是加大採集成本

⑩ 如何禁止搜索引擎爬蟲抓取網站頁面

以下列舉了屏蔽主流搜索引擎爬蟲（蜘蛛）抓取/索引/收錄網頁的幾種思路。注意：是整站屏蔽，而且是盡可能的屏蔽掉所有主流搜索引擎的爬蟲（蜘蛛）。

1、通過 robots.txt 文件屏蔽
可以說 robots.txt 文件是最重要的一種渠道（能和搜索引擎建立直接對話），給出以下建議：
User-agent: Baispider
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Mobile
Disallow: /
User-agent: Googlebot-Image
Disallow:/
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /
User-agent:Feedfetcher-Google
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
User-agent: Yahoo! Slurp China
Disallow: /
User-agent: Yahoo!-AdCrawler
Disallow: /
User-agent: YouBot
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: Sogou spider
Disallow: /
User-agent: Sogou web spider
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: Tomato Bot
Disallow: /
User-agent: *
Disallow: /
2、通過 meta tag 屏蔽
在所有的網頁頭部文件添加，添加如下語句：
<meta name="robots" content="noindex, nofollow">
3、通過伺服器（如：Linux/nginx ）配置文件設置
直接過濾 spider/robots 的IP 段。