當前位置：首頁 » 網頁設計 » 採集單個網頁

採集單個網頁

發布時間: 2021-03-26 19:56:53

A. 我現在想用。net做一個採集網頁，不用多個網頁採集，就單個頁面採集，採集相應欄位到資料庫。

我之前做過，基本的都已經寫完了——但是最後沒有解析到資料庫；

實現過程其實很簡單；
C# 發送一個域名地址；獲取到得到的響應——這時的響應，你轉換成 string；
這個string 就是 HTML代碼——剩下的，就是你將這個字元串的 string 中根據特徵截取到你想要的數據就是了；

我之前做的那個，最後的 string 的解析沒有寫完，只是得到了 string；

B. 我要採集其中一個網站的信息

你是要採集哪個網站的信息呢，有沒什麼要求？一般都是私人定製的有訊*軟體有滿足個性化需求，建議你去問下客服

C. dede5.6 輸入網址採集單個網頁規則怎麼寫

估計這里誰也無法給出你准確的採集規則
因為採集規則的編寫需要根據原網站的代碼來編寫哦
如果你是用的織夢內置的採集工具，可以搜索相關教程，學著編寫，很簡單
如果你是用的第三方工具，應該都會有教程說明的

夢客吧織夢模板為您解答

望點贊

祝成功

D. 怎麼採集一個網站的所有鏈接

下載一個信息採集器，就是站長下載，可以下載整個網站的內容，包括視頻，音樂，圖片，不過程序類型的就下載不到了，網址的鏈接肯定會下載到的

E. 如何定時採集某個網頁上發布的數據

定時應該是在網頁代碼中加入if的時間判定大於此時間則執行採集代碼。如果每天執行則i循環後日期加1 具體的時間格式化詳細代碼可以去下載別人的採集插件進入文件里借鑒一下他們的代碼我不搞這個很久了沒法提供你現成的代碼

F. dede5.6 輸入網址採集單個網頁如何使用

需要定義單文件採集規則的

G. ASP採集，如何採集一個網頁里其它的連接的網頁的內容。

輸出顯示函數即可，也可以將變數存入資料庫，這只是一個例子，具體其它功能你舉一反三，循環以下即可。
response.write Showipinfo("202.29.90.9")

Function Showipinfo(ip)
'顯示IP地址具體地址參考IP138資料庫
Dim urls,str,showipinfos
urls="http://www.ip138.com/ips138.asp?ip="&ip&"&action=2"
str =getHTTPPage(urls)
Showipinfo=strcut(str,"<ul class=""ul1"">","</ul>",2) '截取IP地址來源
showipinfos = Replace(Showipinfo,"本站主數據：","1、")
Showipinfo = Replace(showipinfos,"參考數據一：","2、")
End Function

'****************************************
'
'函數名：GetHttpPage(url) 2011-5-17 xuyang
'功能：ASP採集網頁內容 GB2312 和 UTF-8 通用
'參數：url地址
'****************************************
Function GetHttpPage(url)
Dim ResStr, ResBody, PageCode
If IsNull(url) = True Or url = "False" Then
GetHttpPage = ""
Exit Function
End If
Dim Http, sStartTime
Set Http = Server.CreateObject("MSXML2.XMLHTTP")
With Http
.Open "GET", url, False
.Send
End With
'Http.open "GET", url, False
'Http.Send (Null)
sStartTime = Now
On Error Resume Next
If Http.Status <> 200 Then
Set Http = Nothing
GetHttpPage = ""
Exit Function
End If
Do While Http.ReadyState <> 4
If DateDiff("s", sStartTime, Now) > 10 Then
GetHttpPage = ""
Exit Function
End If
Loop
If Http.ReadyState = 4 Then
If Http.Status = 200 Then
PageCode = test(url)
GetHttpPage = bytesToBSTR(Http.responseBody, PageCode)
End If
End If
Set Http = Nothing
If Err.Number <> 0 Then
Err.Clear
End If
End Function
Function bytesToBSTR(body, Cset)
Dim Objstream
Set Objstream = CreateObject("adodb.stream")
Objstream.Type = 1
Objstream.Mode = 3
Objstream.Open
Objstream.write body
Objstream.position = 0
Objstream.Type = 2
Objstream.Charset = Cset
bytesToBSTR = Objstream.Readtext
Objstream.Close
Set Objstream = Nothing
End Function
Function test(sUrl)
Dim ox
Set ox = server.CreateObject("msxml2.xmlhttp")
ox.Open "get", sUrl, False
ox.Send
test = charsetOf(ox.responseBody)
End Function
Function charsetOf(bstr)
Dim p, c, r
If InStrB(bstr, ChrB(0)) > 0 Then
charsetOf = "unicode"
Exit Function
End If
c = s2b("charset=")
p = InStrB(1, bstr, c, 1)
If p > 0 Then
c = b2s(MidB(bstr, p + LenB(c), 20))
Set r = New RegExp
r.Pattern = "^[』""]?([-\w]+)"
Set c = r.Execute(c)
If c.Count > 0 Then
charsetOf = LCase(c(0).SubMatches(0))
Exit Function
End If
End If
Dim n, ucsOnly, ret
ucsOnly = False
n = LenB(bstr)
For p = 1 To n
c = AscB(MidB(bstr, p, 1))
If c And &H80 Then Exit For
If c < &H20 Then
If c <> &HD And c <> &HA And c <> &H9 Then
ucsOnly = True
Exit For
End If
End If
Next
If p > n Then
ret = "ascii"
ElseIf Not ucsOnly Then
If isUtf8(bstr, p, n) Then
ret = "utf-8"
ElseIf isGbk(bstr, p, n) Then
ret = "GB2312"
End If
End If
If IsEmpty(ret) Then
If isUnicode(bstr, p, n) Then
charsetOf = "unicode"
Else
charsetOf = "unknown"
End If
Else
charsetOf = ret
End If
End Function
Function s2b(str)
Dim r, i
For i = 1 To Len(str)
r = r + ChrB(Asc(Mid(str, i, 1)) And &HFF)
Next
s2b = r
End Function
Function b2s(bs)
Dim r, i
For i = 1 To LenB(bs)
r = r + Chr(AscB(MidB(bs, i, 1)))
Next
b2s = r
End Function
Function isUtf8(bs, start, Length)
isUtf8 = True
Dim p, e, c
e = False
For p = start To Length
c = AscB(MidB(bs, p, 1))
If c And &H80 Then
If c And &HE0 = &HC0 Then
If p = Length Then
e = True
Else
p = p + 1
If AscB(MidB(bs, p, 1)) And &H30 <> &HC0 Then e = True
End If
ElseIf c And &HF0 = &HE0 Then
If p = Length Or p = Length - 1 Then
e = True
Else
p = p + 2
If AscB(MidB(bs, p - 1, 1)) And &H30 <> &HC0 Then
e = True
ElseIf AscB(MidB(bs, p, 1)) And &H30 <> &HC0 Then
e = True
End If
End If
Else
e = True
End If
End If
If e Then
isUtf8 = False
Exit Function
End If
Next
End Function
Function isGbk(bs, start, Length)
isGbk = True
Dim p, e, c
e = False
For p = start To Length
c = AscB(MidB(bs, p, 1))
If c And &H80 Then
If p = Length Then
e = True
Else
p = p + 1
If (AscB(MidB(bs, p, 1)) And &H80) = 0 Then e = True
End If
End If
If e Then
isGbk = False
Exit Function
End If
Next
End Function
Function isUnicode(bs, start, Length)
isUnicode = True
Dim p, c
If start Mod 2 = 0 Then
isUnicode = False
Exit Function
End If
For p = start To Length
c = AscB(MidB(bs, p, 1))
If c And &H80 Then
If p = Length Then
isUnicode = False
Exit Function
Else
p = p + 1
End If
End If
Next
End Function
'截取字元串,1.包括起始和終止字元，2.不包括
Function strCut(strContent,StartStr,EndStr,CutType)
Dim strHtml,S1,S2
strHtml = strContent
On Error Resume Next
Select Case CutType
Case 1
S1 = InStr(strHtml,StartStr)
S2 = InStr(S1,strHtml,EndStr)+Len(EndStr)
Case 2
S1 = InStr(strHtml,StartStr)+Len(StartStr)
S2 = InStr(S1,strHtml,EndStr)
End Select
If Err Then
strCute = "<p align=』center』>沒有找到需要的內容。</p>"
Err.Clear
Exit Function
Else
strCut = Mid(strHtml,S1,S2-S1)
End If
End Function

H. 我自己製作了一個單頁網站，怎樣用織夢程序採集文章啊我採集的文章不在我做的單頁裡面

把你的單頁內容整合到織夢系統里去
這樣就可以隨意調用採集的內容到你的單頁中

I. 一個簡單的網頁數據採集，有什麼好方法

網頁數據採集有很多方法，相對復雜的軟體不好弄，需要編程基礎，不過，博為小幫軟體機器人還可以，比較簡單，可見即可得，只需要簡單的配置一下，保存以後自動運行，就可以採集網頁數據了，
通過小幫軟體機器人，軟體數據也可以採集的。你說的簡單的網頁數據採集，小幫軟體機器人也可以的

閱讀全文

採集單個網頁

與採集單個網頁相關的閱讀推薦