① 手机如何加密，浏览网站,防止抓取

方法/步骤
设备准备工作：一台带有无线网卡的PC或者笔记本电脑，然后将电脑和手机连接到同一个Wi-Fi网络中，并且保证二者是在同一个ip网段内。
下载安装Fiddler及fiddlercertmaker，其中fiddlercertmaker扩展主要是为了抓取https的加密连接，如果没有这方面的需求，可以省略掉此扩展的下载安装。网络关键字“Fiddler”，第一个是网络下载中心的软件下载，可以直接下载，也可以到第二个的官网下载，官网有两个版本，分别基于.Net4和.Net2，可酌情下载。

安装过程就省略了，没有任何需要功能设置的选项，只需选择安装路径即可。安装后，运行Fiddler。运行后的窗口如下图。

点击“Tools”菜单，选择“Fiddler Options...”菜单，打开设置窗体。

在设置窗体中，切换到“”页面，请对照页面进行完全一样的选项设置。

获取电脑的IP地址，如图所示：在打开的Fiddler窗口中，工具栏的最右边，找到online按钮，鼠标移动到按钮上，既有提示信息显示了。记下这个IP地址，稍后需要在手机中设置此地址。

手机设置，设置代理服务地址及端口。因手上只有小米2一台，所以设置的截图也是此手机的，具体的设置方法可能手机略有不同吧，这个就请自行研究了。

手机访问了天猫，再看看电脑端，哈哈，就是这个数据了。

抓取https的数据包，需要下载一个扩展组件fiddlercertmaker，可以网络这个关键词或是在官网下载。下载后，直接安装即可。

在Fiddler中选项设置中，点击菜单栏上的 Tools - Fiddler Options - HTTPS,勾选上Decrypt HTTPS traffic ，然后重启Fiddler。

在手机浏览器中，直接访问电脑端的IP地址+端口。比如我这里的：192.168.31.162:8888，在打开的页面中点击下载证书连接。
接下来可以手机访问一个https的连接了。看看抓到的数据吧。至此，手机访问的数据都可以在PC端进行抓取分析了。

② 如何禁止搜索引擎爬虫（Spider）抓取网站页面

一般情况，大家都是希望搜索引擎爬虫尽可能多的抓取自己的网站，但有时内也需要告诉爬虫不要容抓取，比如，不要抓取镜像页面等。
以下列举了屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路。注意：是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫（蜘蛛）。
1、通过 robots.txt 文件屏蔽

③ 如何防止网站获取浏览器浏览痕迹

点击IE浏览器的小齿轮（设置），然后点击管理加载项，在里面找到那个工具栏和扩展，找到那个加载项禁用就可以了。

④ 大家有什么好方法，防止页面被机器人curl抓取

在.htaccess里加入

RewriteCond %{REMOTE_HOST} ^123.456.789..*
RewriteRule ^.*$ X.html [L]

123.456.789 改为爬虫地址。

⑤ 如何防止网站内容被别的网站恶意抓取

三种实用的方法。

1、文章头尾加随机广告..
2、文章列表加随机不同的链接标签，比如<a href="",<a class="dds" href=''
3、正文头尾或列表头尾添加<!--重复特征代码-->

第一种防采集方法:
下面我详细说一下这三种方法的实际应用:

如果全加上，绝对可以有效的防采集,单独加一种就可以让采集者头疼。。
完全可以对付通用的CMS采集程序。。

在采集时,通常都是指定头尾特征从哪到哪过滤.这里我们先讲第一种方法,文章头尾加随机广告..
随机广告是不固定的。

比如你的文章内容是"欢迎访问阿里西西",那么随机广告的加入方法：
<div id="xxx">
随机广告1欢迎访问阿里西西随机广告2
</div>
注:随机广告1和随机广告2每篇文章只要随机显示一个就可以了.

第二种防采集方法:
<!--<div id="xxx_文章ID">-->
其它标题或内容...
<!--<div id="xxx_文章ID">--> <div id="xxx_文章ID">
随机广告1欢迎访问阿里西西随机广告2
<--</div>-->
</div>
<--</div>-->

这是第二种防采集方法。在文章正文页面插入重复特征头尾代码的注释。
当然，这个可以用正则去掉，但足于对付通用的采集系统。。

第三种防采集方法:

第三种加在文章的列表，随便链接样式:
<a href="xxx.html">标题一</a>
<a alt="xxx" href="xxx.html">标题二</a>
<a href='xxx.html'>标题三</a>
<a href=xxx.html>标题四</a>

原理是让采集的人无法抓到列表链接规律,无法批量进行采集.
如果三种方法全部加上,我想一定能让想采集的人头疼半天而放弃的..
如果你还问,如何防止别人复制采集呢?要做到这一点容易,把你的网站的网线拔了,自己给自己看就好了.哈哈.

如果你的文章来自原创,那像可以加上版权声明,别人随意转载时,你可以要求对方删除你有版权的文章.

⑥ 如何防止私密网站被Google抓取

搜索引擎数据库中的所有网页，都是由Robot程序自动抓取收录的。但我们网站上总会有部分私密性数据不希望被搜索引擎抓取，这时候，就需要robots.txt。
robots.txt 是一个标准文档，意在阻止搜索引擎的Spider(蜘蛛）从您的 Web 服务器下载某些或全部信息，控制Spider的搜索范围。robots.txt的设置很简单，只要用记事本或其他文本编辑器，依照自己的网站需求，设定一系列选项，然后将其上传到网站根目录即可。robots.txt的设置如下：
User-agent: 搜索引擎的spider代号
Disallow: 输入数据夹或文件名的路径
如设定所有的spider都能够搜索及抓取整个网站。
User-agent: *Disallow:如拒绝Google搜索及抓取整个网站，但允许其它的
User-agent: GooglebotDisallow:如拒绝所有的Spider
User-agent: *
Disallow: /
如拒绝所有的Spider搜索及抓取protect目录及seo目录下abc.html文件
User-agent: *
Disallow: /protect/
Disallow: /seo/abc.html
如拒绝google搜索及抓取protect目录及seo目录下abc.html文件，但允许其他的
User-agent: Googlebot
Disallow: /protect/
很简单吧？另有一点请记住，搜索引擎不会立即对robots.txt 文件所作的更改作出反应，必须等到搜索引擎下一次读取该文件。

⑦ 防止网站数据被别人抓取，有哪些途径和具体的措施

除了关闭网站，没有其他办法，你即使做了禁止鼠标右键，或者禁止复制，这些只是表面，真正要拷贝你网站的你拦不住。

⑧ 如何防止网站被爬虫爬取的几种办法

用robots.txt

⑨ 怎么可以防止网页被抓取 - 技术问答

看你的需求了，可以搞得很复杂，也可以搞得很low。之前是做采集的，算不上大神级别。不过可以说80%以上的H5、网页、app可以搞定。单击和分布式爬虫都弄过。日采集上千万数据的不少。覆盖也比较广，视频、电商、新闻、舆论分析类等等。总结起来，每个网站的难度都不一样，99%数据是可以抓取到的。网络就是国内最大的爬虫，所以想要完全禁止的，除非服务器关了，数据删了。否则要采集的手段太多了，无外乎就是出于成本上的考虑。
反爬虫也是需要付出成本的，包括了体验差导致用户流失，内部用的走内网。给用户用的只能做到减少，如果你的数据很有价值，建议是请一个有实力的技术做一些防护。网络上能回答的基本是有解的。
总结一下：反爬只能防君子，防不了小人，可以加大难度，方法也有很多。不过也只是加大采集成本

⑩ 如何禁止搜索引擎爬虫抓取网站页面

以下列举了屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路。注意：是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫（蜘蛛）。

1、通过 robots.txt 文件屏蔽
可以说 robots.txt 文件是最重要的一种渠道（能和搜索引擎建立直接对话），给出以下建议：
User-agent: Baispider
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Mobile
Disallow: /
User-agent: Googlebot-Image
Disallow:/
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /
User-agent:Feedfetcher-Google
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
User-agent: Yahoo! Slurp China
Disallow: /
User-agent: Yahoo!-AdCrawler
Disallow: /
User-agent: YouBot
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: Sogou spider
Disallow: /
User-agent: Sogou web spider
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: Tomato Bot
Disallow: /
User-agent: *
Disallow: /
2、通过 meta tag 屏蔽
在所有的网页头部文件添加，添加如下语句：
<meta name="robots" content="noindex, nofollow">
3、通过服务器（如：Linux/nginx ）配置文件设置
直接过滤 spider/robots 的IP 段。