当前位置：首页 » 网页设计 » 采集单个网页

采集单个网页

发布时间: 2021-03-26 19:56:53

A. 我现在想用。net做一个采集网页，不用多个网页采集，就单个页面采集，采集相应字段到数据库。

我之前做过，基本的都已经写完了——但是最后没有解析到数据库；

实现过程其实很简单；
C# 发送一个域名地址；获取到得到的响应——这时的响应，你转换成 string；
这个string 就是 HTML代码——剩下的，就是你将这个字符串的 string 中根据特征截取到你想要的数据就是了；

我之前做的那个，最后的 string 的解析没有写完，只是得到了 string；

B. 我要采集其中一个网站的信息

你是要采集哪个网站的信息呢，有没什么要求？一般都是私人定制的有讯*软件有满足个性化需求，建议你去问下客服

C. dede5.6 输入网址采集单个网页规则怎么写

估计这里谁也无法给出你准确的采集规则
因为采集规则的编写需要根据原网站的代码来编写哦
如果你是用的织梦内置的采集工具，可以搜索相关教程，学着编写，很简单
如果你是用的第三方工具，应该都会有教程说明的

梦客吧织梦模板为您解答

望点赞

祝成功

D. 怎么采集一个网站的所有链接

下载一个信息采集器，就是站长下载，可以下载整个网站的内容，包括视频，音乐，图片，不过程序类型的就下载不到了，网址的链接肯定会下载到的

E. 如何定时采集某个网页上发布的数据

定时应该是在网页代码中加入if的时间判定大于此时间则执行采集代码。如果每天执行则i循环后日期加1 具体的时间格式化详细代码可以去下载别人的采集插件进入文件里借鉴一下他们的代码我不搞这个很久了没法提供你现成的代码

F. dede5.6 输入网址采集单个网页如何使用

需要定义单文件采集规则的

G. ASP采集，如何采集一个网页里其它的连接的网页的内容。

输出显示函数即可，也可以将变量存入数据库，这只是一个例子，具体其它功能你举一反三，循环以下即可。
response.write Showipinfo("202.29.90.9")

Function Showipinfo(ip)
'显示IP地址具体地址参考IP138数据库
Dim urls,str,showipinfos
urls="http://www.ip138.com/ips138.asp?ip="&ip&"&action=2"
str =getHTTPPage(urls)
Showipinfo=strcut(str,"<ul class=""ul1"">","</ul>",2) '截取IP地址来源
showipinfos = Replace(Showipinfo,"本站主数据：","1、")
Showipinfo = Replace(showipinfos,"参考数据一：","2、")
End Function

'****************************************
'
'函数名：GetHttpPage(url) 2011-5-17 xuyang
'功能：ASP采集网页内容 GB2312 和 UTF-8 通用
'参数：url地址
'****************************************
Function GetHttpPage(url)
Dim ResStr, ResBody, PageCode
If IsNull(url) = True Or url = "False" Then
GetHttpPage = ""
Exit Function
End If
Dim Http, sStartTime
Set Http = Server.CreateObject("MSXML2.XMLHTTP")
With Http
.Open "GET", url, False
.Send
End With
'Http.open "GET", url, False
'Http.Send (Null)
sStartTime = Now
On Error Resume Next
If Http.Status <> 200 Then
Set Http = Nothing
GetHttpPage = ""
Exit Function
End If
Do While Http.ReadyState <> 4
If DateDiff("s", sStartTime, Now) > 10 Then
GetHttpPage = ""
Exit Function
End If
Loop
If Http.ReadyState = 4 Then
If Http.Status = 200 Then
PageCode = test(url)
GetHttpPage = bytesToBSTR(Http.responseBody, PageCode)
End If
End If
Set Http = Nothing
If Err.Number <> 0 Then
Err.Clear
End If
End Function
Function bytesToBSTR(body, Cset)
Dim Objstream
Set Objstream = CreateObject("adodb.stream")
Objstream.Type = 1
Objstream.Mode = 3
Objstream.Open
Objstream.write body
Objstream.position = 0
Objstream.Type = 2
Objstream.Charset = Cset
bytesToBSTR = Objstream.Readtext
Objstream.Close
Set Objstream = Nothing
End Function
Function test(sUrl)
Dim ox
Set ox = server.CreateObject("msxml2.xmlhttp")
ox.Open "get", sUrl, False
ox.Send
test = charsetOf(ox.responseBody)
End Function
Function charsetOf(bstr)
Dim p, c, r
If InStrB(bstr, ChrB(0)) > 0 Then
charsetOf = "unicode"
Exit Function
End If
c = s2b("charset=")
p = InStrB(1, bstr, c, 1)
If p > 0 Then
c = b2s(MidB(bstr, p + LenB(c), 20))
Set r = New RegExp
r.Pattern = "^[’""]?([-\w]+)"
Set c = r.Execute(c)
If c.Count > 0 Then
charsetOf = LCase(c(0).SubMatches(0))
Exit Function
End If
End If
Dim n, ucsOnly, ret
ucsOnly = False
n = LenB(bstr)
For p = 1 To n
c = AscB(MidB(bstr, p, 1))
If c And &H80 Then Exit For
If c < &H20 Then
If c <> &HD And c <> &HA And c <> &H9 Then
ucsOnly = True
Exit For
End If
End If
Next
If p > n Then
ret = "ascii"
ElseIf Not ucsOnly Then
If isUtf8(bstr, p, n) Then
ret = "utf-8"
ElseIf isGbk(bstr, p, n) Then
ret = "GB2312"
End If
End If
If IsEmpty(ret) Then
If isUnicode(bstr, p, n) Then
charsetOf = "unicode"
Else
charsetOf = "unknown"
End If
Else
charsetOf = ret
End If
End Function
Function s2b(str)
Dim r, i
For i = 1 To Len(str)
r = r + ChrB(Asc(Mid(str, i, 1)) And &HFF)
Next
s2b = r
End Function
Function b2s(bs)
Dim r, i
For i = 1 To LenB(bs)
r = r + Chr(AscB(MidB(bs, i, 1)))
Next
b2s = r
End Function
Function isUtf8(bs, start, Length)
isUtf8 = True
Dim p, e, c
e = False
For p = start To Length
c = AscB(MidB(bs, p, 1))
If c And &H80 Then
If c And &HE0 = &HC0 Then
If p = Length Then
e = True
Else
p = p + 1
If AscB(MidB(bs, p, 1)) And &H30 <> &HC0 Then e = True
End If
ElseIf c And &HF0 = &HE0 Then
If p = Length Or p = Length - 1 Then
e = True
Else
p = p + 2
If AscB(MidB(bs, p - 1, 1)) And &H30 <> &HC0 Then
e = True
ElseIf AscB(MidB(bs, p, 1)) And &H30 <> &HC0 Then
e = True
End If
End If
Else
e = True
End If
End If
If e Then
isUtf8 = False
Exit Function
End If
Next
End Function
Function isGbk(bs, start, Length)
isGbk = True
Dim p, e, c
e = False
For p = start To Length
c = AscB(MidB(bs, p, 1))
If c And &H80 Then
If p = Length Then
e = True
Else
p = p + 1
If (AscB(MidB(bs, p, 1)) And &H80) = 0 Then e = True
End If
End If
If e Then
isGbk = False
Exit Function
End If
Next
End Function
Function isUnicode(bs, start, Length)
isUnicode = True
Dim p, c
If start Mod 2 = 0 Then
isUnicode = False
Exit Function
End If
For p = start To Length
c = AscB(MidB(bs, p, 1))
If c And &H80 Then
If p = Length Then
isUnicode = False
Exit Function
Else
p = p + 1
End If
End If
Next
End Function
'截取字符串,1.包括起始和终止字符，2.不包括
Function strCut(strContent,StartStr,EndStr,CutType)
Dim strHtml,S1,S2
strHtml = strContent
On Error Resume Next
Select Case CutType
Case 1
S1 = InStr(strHtml,StartStr)
S2 = InStr(S1,strHtml,EndStr)+Len(EndStr)
Case 2
S1 = InStr(strHtml,StartStr)+Len(StartStr)
S2 = InStr(S1,strHtml,EndStr)
End Select
If Err Then
strCute = "<p align=’center’>没有找到需要的内容。</p>"
Err.Clear
Exit Function
Else
strCut = Mid(strHtml,S1,S2-S1)
End If
End Function

H. 我自己制作了一个单页网站，怎样用织梦程序采集文章啊我采集的文章不在我做的单页里面

把你的单页内容整合到织梦系统里去
这样就可以随意调用采集的内容到你的单页中

I. 一个简单的网页数据采集，有什么好方法

网页数据采集有很多方法，相对复杂的软件不好弄，需要编程基础，不过，博为小帮软件机器人还可以，比较简单，可见即可得，只需要简单的配置一下，保存以后自动运行，就可以采集网页数据了，
通过小帮软件机器人，软件数据也可以采集的。你说的简单的网页数据采集，小帮软件机器人也可以的

阅读全文

采集单个网页

与采集单个网页相关的阅读推荐