⑴ 怎么用python爬取一个网站的网页数量

1. 这个要根据你的网复站地址制进行分析，构造网站的url，通过for循环，做统计输出，从而计算出一个网站的网页数量。
2. 由于你未给出具体网站的地址，只能给你说个流程如上。
望点赞，希望能帮到你。。。。。。

⑵ 怎样用python爬取网页

#coding=utf-8
importurllib
importre

#网络贴吧网址:https://tieba..com/index.html
#根据URL获取网页HTML内容
defgetHtmlContent(url):
page=urllib.urlopen(url)
returnpage.read()

#从HTML中解析出所有的图片的URL
#从HTML中jpg格式为<img...src="xxx.jpg"width='''>
defgetJPGs(html):
#解析jpg图片URL的正则表达式
jpgReg=re.compile(r'<img.+?src="(.+?.jpg)"')
#解析出jpg的URL列表
jpgs=re.findall(jpgReg,html)
returnjpgs

#用图片url下载图片并保存成制定文件名
defdownloadJPG(imgUrl,fileName):
urllib.urlretrieve(imgUrl,fileName)

#批量下载图片,默认保存到当前目录下
defbatchDownloadJPGs(imgUrls,path='../'):#path='./'
#给图片重命名
count=1
forurlinimgUrls:
downloadJPG(url,''.join([path,'{0}.jpg'.format(count)]))
print"下载图片第:",count,"张"
count+=1

#封装:从网络贴吧网页下载图片
defdownload(url):
html=getHtmlContent(url)
jpgs=getJPGs(html)
batchDownloadJPGs(jpgs)

defmain():
url="http://www.meituba.com/dongman/"
download(url)

if__name__=='__main__':
main()

⑶ 怎么用Python从多个网址中爬取内容

调用 requests 包 , BeautifulSoup4包, 能实现，网页内容写入 excel 不太好看，建议版写入 txt 或者权 xml。确定要写入 Excel 可以调用 pandas包或者 openpyxl包

⑷ 如何用最简单的Python爬虫采集整个网站

采集网站数据并不难，但是需要爬虫有足够的深度。我们创建一个爬虫，递归地遍历每内个网站，容只收集那些网站页面上的数据。一般的比较费时间的网站采集方法从顶级页面开始（一般是网站主页），然后搜索页面上的所有链接，形成列表，再去采集到的这些链接页面，继续采集每个页面的链接形成新的列表，重复执行。

⑸ 使用python采集网页内容时那登录那个网站，否则采集不了！请问怎么实现python登录后采集网页

有些网页需要你登录之后才可以访问,你需要提供账户和密码。
只要在发送http请求时，带上含有正常登陆的cookie就可以了。
1.首先我们要先了解cookie的工作原理。
Cookie是由服务器端生成，发送给User-Agent（一般是浏览器），浏览器会将Cookie的key/value保存到某个目录下的文本文件内，下次请求同一网站时就发送该Cookie给服务器（前提是浏览器设置为启用cookie）。Cookie名称和值可以由服务器端开发自己定义，对于JSP而言也可以直接写入jsessionid，这样服务器可以知道该用户是否合法用户以及是否需要重新登录等。
2.之后我们要获取到用户正常登录的cookie.
python提供了cookieJar的库，只要把cookieJar的实例作为参数传到urllib2的一个opener里面。
然后访问一次登录的页面，cookie就已经保存下来了。之后通过这个实例访问所有的页面都带有正常登陆的cookie了。
以人人网为例子。
#encoding=utf-8
import urllib2
import urllib
import cookielib
def renrenBrower(url,user,password):
#登陆页面，可以通过抓包工具分析获得，如fiddler，wireshark
login_page = "http://www.renren.com/PLogin.do"
try:
#获得一个cookieJar实例
cj = cookielib.CookieJar()
#cookieJar作为参数，获得一个opener的实例
opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
#伪装成一个正常的浏览器，避免有些web服务器拒绝访问。
opener.addheaders = [('User-agent','Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)')]
#生成Post数据，含有登陆用户名密码。
data = urllib.urlencode({"email":user,"password":password})
#以post的方法访问登陆页面，访问之后cookieJar会自定保存cookie
opener.open(login_page,data)
#以带cookie的方式访问页面
op=opener.open(url)
#读取页面源码
data= op.read()
return data
except Exception,e:
print str(e)
#访问某用户的个人主页，其实这已经实现了人人网的签到功能。
print renrenBrower("http://www.renren.com/home","用户名","密码")

⑹ python提取网页array内容

首先确认你贴出来的这些都是被Python采集的字符串，假设为 s.

即：s = """var uA = new Array();
var uD = new HashMap;

uA[0] = new Array();.........."""


然后你针对你感兴趣的内容来过滤出你要的信息（比如你只对双引号内的内容感兴趣）


参考代码如下：

#-*-coding:cp936-*-
s="""varuA=newArray();
varuD=newHashMap();
uA[0]=newArray();
uA[0][0]="01";
uA[0][1]="";
uD.put("a-F",0);
uA[1]=newArray();
uA[1][0]="02";
uA[1][1]="";
"""

#逐行分析，这里可以看出每行结尾都有';'可以用来做划分行的字符
forlineins.split(";"):
#如果这一行的末尾是'"'说明这是我们要的内容
if'"'==line[-1]:
#双引号的起始位置
i=line.find('"')
#获取双引号间的内容这时会得到类似"xd6xd0xc1xb8"这样的东西
text=line[i:]
#我们需要把马上的东西解码一下，简单的用eval就行了
text=eval(text)
#打印出你要的结果
print(text)


输出：

>>>

01

中粮辽宁粮油进出口公司大连储运贸易公司

02

大连合融仓储有限公司




希望对你有所帮助~~

⑺ 写个python 爬虫怎么爬取一个网页上面发现的url链接

1.使用beautifulsoup框架。

frombs4importBeautifulSoup
bs=BeautifulSoup('网页源码',"html.parser")
bs.findAll('a')#查找所有的超链接
#具体方法可以参见官方文内档

2.使用正则容表达式

⑻ 如何用Python采集需要需要登录的页面内容

>>>用httpwatch之类的请求监测插件
查看post的数据
>>>再加入你的程序就可以了
>>>比如urllib ............

⑼ 如何利用python对网页的数据进行实时采集并输出

这让我想到了一个应用场景，在实时网络征信系统中，通过即时网络爬虫从多个信用数据源获取数据。并且将数据即时注入到信用评估系统中，形成一个集成化的数据流。

可以通过下面的代码生成一个提取器将标准的HTML DOM对象输出为结构化内容。

图片来自集搜客网络爬虫官网，侵删。

⑽ python怎么爬取这个网页

response = request.get(url=r'http...')