㈠ 百度蜘蛛爬行，抓取索引，网页收录都是什么意思

网络蜘蛛：
是网络搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容，然后分门别类建立索引数据库，使用户能在网络搜索引擎中搜索到您网站的网页、图片、视频等内容。
抓取索引：
抓取是搜索引擎蜘蛛从待抓地址库中提取要抓的URL，访问这个URL，把读取的html代码存入数据库。蜘蛛的抓取就是像浏览器一样打开这个页面，和用户浏览器访问一样，也会在服务器原始日志中留下记录。
索引指的是将一个URL的信息进行整理，存入数据库，也就是索引库，用户搜索时，搜索引擎从索引库中提取URL信息并排序展现出来。索引的英文是index。索引库是用于搜索的，所以被索引的URL是可以被用户搜索到的，没有被索引的URL用户在搜索结果中是看不到的。
网页收录：

我个人觉得收录和索引没有区别。只不过收录是从搜索用户角度看的，搜索时能找到这个URL，就是这个URL被收录了。从搜索引擎角度看，URL被收录了，也就是这个URL的信息在索引库中存在。英文并没有收录这个词，和索引用的是同一个词index。

㈡ 网站爬行搜索 是什么意思

这是搜索引擎蜘蛛。
运用了比喻的手法
蜘蛛到一个网站上，会根据网站的超链接进入不同的网页，并且收录

这一个过程就叫做网站爬行搜索

㈢ 如何吸引和引导谷歌蜘蛛来爬行抓取网站信息

1 对所有网页进行优化
你必须对你网站的每一个网页进行细致优化，并且优化不同的相关关键词，以便google机器人能够了解你网站网页之间的相关性。更多的网页得到优化对你的网站来说是最为有效的。这个需要相当的时间来执行，没有其他的捷径来迅速提高网站的google排名。
2 使用HTML代码
google的蜘蛛习惯看到纯HTML代码，并从中获取必要的信息。因此你必须确保你的网页使用HTML代码，以便google程序抓取这些代码，并储存在数据库中。
3 展现搜索引擎最想看的内容
标题标记、标签标记、文本链接、描述等等都必须确保正确包含你所需要 google抓取的关键词，并注意一定的关键词密度。你应该给google蜘蛛它最希望看到的那部分。
4 优化结构
网站结构也是影响你网站在google排名位置的重要因素，其中最为关键的是你网站内部的导航和内部链接。一旦你的网站结构设计不良或者内部链接不到位，搜索引擎很可能就会错过你网站中的一些网页了。

㈣ 百度蜘蛛爬行网站的时候会影响网页打开的速度吗为什么百度站长工具里说百度搜索引擎爬行的时候会给服务

会给服务器造成压力，有压力就会造成网页打开速度的快慢，所以抓爬过多的话网站都可能打不开，为避免这种事情可以去网络站长平台去控制抓取频次和抓取压力

㈤ 我的网站被百度一天爬行了数百次。最高时爬行了七百次。那有那个垃圾的搜搜也爬几百次。

可以不让蜘蛛来爬你网站的，好像要在网站内加一段代码，网络蜘蛛就不会收录你的页面的，代码你可以找找！ 采集站做些伪原创会好些

㈥ 百度蜘蛛总是爬行网站的图片怎么办

网络的所有爬行都尽量不要屏蔽，一定不要阻止蜘蛛抓取图片，更新文章有规律就好，比如你上午更新，那么你就尽量一直在这个时间段，最好是原创。至于你说的那个情况，正常工作就好，不用去管它，太正常了，无论你做的好于不好，都太正常了。

㈦ 用java写一个能爬行Javascript动态链接的网页的内容

java？？？ 太难！
得写IE插件，hook 浏览器api！！！ 恐怕目前只有这个办法了

㈧ 如何用PHP爬行整个网站将动态静态内容

实例代码
<?
$out1 = "<html><head><title>PHP网站静态化教程</title></head>
</body></html>";

$fp = fopen("leapsoulcn.html","w");
if(!$fp)
{
echo "System Error";
exit();
}
else {
fwrite($fp,$out1);
fclose($fp);
echo "Success";
}
?>

㈨ 搜索引擎如何对网站进行爬行和抓取

当搜索引擎蜘蛛准备爬行某个网页的时候，会对服务器发出访问申请，申请通过后，搜索引擎会先去爬行网站的robots.txt文件，针对robots.txt文件中所禁止搜索引擎抓取的局部，搜索引擎将不会去抓取。接着服务器就会给搜索引擎返回当前页面的html代码，现在有很多的站长工具中都会有模仿蜘蛛抓取网页代码的功能，大家有兴趣可以去查询，这里值得注意的就是页面代码中汉字所占的比例，因为搜索引擎在预处置阶段会把汉字局部筛选进去分析网页的内容和关键词，汉字所占比例越多说明网页返回的有效信息越多，越有利于搜索引擎对页面的分析。这也就是为什么大家在编写网站代码的时候，会对CSS和Javascript代码进行外部调用，对图片要添加alt属性，对链接要添加titl属性的缘故，都是为了降低页面代码所占的比例，提高文字所占比例，当然相关性也是一方面。

搜索引擎爬行网页都是沿着链接进行爬行的爬行网页的时候并不是一个蜘蛛在爬行，一般都是由多个蜘蛛进行爬行，爬行的方式有两种，一种是深度爬行，一种是广度爬行，两种方式都可以爬遍一个网站的所有链接，通常都是两种方式并行的但实际上由于资源的限制，搜索引擎并不会爬遍一个网站的所有链接。

既然搜索引擎不可能爬遍整个网站的所有链接，那么作为seo人员来说，接下来的工作就是要吸引蜘蛛尽可能多的去爬行网站链接，为蜘蛛的爬行发明轻松便当的环境，尤其是针对一些重要的链接，那么对于一个网站来说如何去吸引蜘蛛呢？影响蜘蛛爬行的因素有哪些呢？

1.网站的权重

一个权重高的网站，蜘蛛往往会爬行的很深，关于如何提高网站的权重。

2.页面是否经常更新

这是一个老生常谈的问题了虽然网站的更新和维护工作异常的辛苦，但是没办法，人家搜索引擎就喜欢新鲜的血液，如果网站的更新比较勤快的话，搜索引擎自然来的也勤快，来的多了新链接被抓取的几率当然也就大了

3.高质量导入链接

一个页面的导入链接相当于页面的入口，原理很简单，导入链接多了搜索引擎进入你网页的渠道也就多了如果是一条高质量的导入链接，那么搜索引擎对网页链接爬行的深度也会增加。

4.与首页距离越近的链接，被爬行的几率越大

一个网站的首页是权重最高的那么距离它越近的页面，被赋予的权重也会越高，被蜘蛛爬行的几率当然越大，这是网站seo优化中常用到一个就近原理，可以应用到很多方面，比如网站的主导航中第一个栏目比最后一个栏目的权重高，距离锚文本越近的文字是搜索引擎重点照顾的地方等等。

当搜索引擎对页面进行抓取之后，会将页面中的链接解析出来，通过与地址库中的链接进行匹配对比分析，将没有进行爬行的新链接放入到待访问地址库，然后派出蜘蛛对新链接进行爬行。

搜索引擎对网页进行爬行和抓取的时候，并不是进行简单的爬行和抓取工作，而是同时并发有大量的其他操作，其中很重的一项工作就是对网页内容进行检测，通过截取网页上的内容与数据库中的信息做对比，如果是一些权重比较低的网站出现大量转载或者伪原创，可能蜘蛛爬行到一半就会离开，这也就是为什么通过网站日志看到有蜘蛛来，但是页面没被收录的原因。所以说，即使是进行伪原创，也是需要一定的技巧的除非你网站权重特别高。

㈩ python爬行网页上的class

对，是先读取页面html代码，然后用正则匹配，要用到re模块！