Foxtable(狐表)用户栏目专家坐堂 → 关于爬网页资料的问题


  共有2966人关注过本帖树形打印复制链接

主题:关于爬网页资料的问题

帅哥哟,离线,有人找我吗?
ap9709130
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:六尾狐 帖子:1472 积分:11478 威望:0 精华:0 注册:2013/11/24 22:10:00
关于爬网页资料的问题  发帖心情 Post By:2018/7/28 15:35:00 [显示全部帖子]

老师:

Dim body As String = "on=true&page=1&pageSize=15&productName=广州善恩化妆品有限公司&conditionType=3&applyname=&applysn="
Dim req = System.Net.WebRequest.Create("http://125.35.6.80:8080/ftba/itownet/fwAction.do?method=getBaNewInfoPage")
req.Method = "POST"
req.C
req.UserAgent = "Mozilla/5.0 (Windows NT 6.3; rv:57.0) Gecko/20100101 Firefox/57.0"
Dim aryBuf As Byte() = Encoding.UTF8.GetBytes(body)
req.ContentLength = aryBuf.Length
Dim writer = req.GetRequestStream()
writer.Write(aryBuf, 0, aryBuf.Length)
writer.Close()
writer.Dispose()
Dim pos = req.GetResponse
Dim stm As System.IO.Stream = pos.GetResponseStream()
Dim reader As New System.IO.StreamReader(stm)
Dim str As String = reader.ReadToEnd
pos.Close
stm.Close
reader.close
msgbox(str)
Dim jo As JObject = Jobject.Parse(str)
msgbox(jo.ToString)

用这种方法如何 能每次向服务器申请时,每次都用不同的IP 地址?

 回到顶部
帅哥哟,离线,有人找我吗?
ap9709130
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:六尾狐 帖子:1472 积分:11478 威望:0 精华:0 注册:2013/11/24 22:10:00
  发帖心情 Post By:2018/7/28 16:11:00 [显示全部帖子]

老师

以我的水平,应该搞不定的。论坛上有相关的吗?

 回到顶部
帅哥哟,离线,有人找我吗?
ap9709130
  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:六尾狐 帖子:1472 积分:11478 威望:0 精华:0 注册:2013/11/24 22:10:00
  发帖心情 Post By:2018/8/1 21:54:00 [显示全部帖子]

老师

用这种方法如何判断所返回的信息 不是空? 如果对方的服务器拒绝的话,返回的是什么内容?如何判断呢?多谢!

 回到顶部
帅哥哟,离线,有人找我吗?
ap9709130
  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:六尾狐 帖子:1472 积分:11478 威望:0 精华:0 注册:2013/11/24 22:10:00
  发帖心情 Post By:2018/8/2 11:52:00 [显示全部帖子]

甜老师

多谢您的资料,大概看一下。以我现在的水平应该是搞不定的。多谢!另外 关于判断 str 的值 ,我试过 用 str > "" 但是会报错的。

 回到顶部
帅哥哟,离线,有人找我吗?
ap9709130
  5楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:六尾狐 帖子:1472 积分:11478 威望:0 精华:0 注册:2013/11/24 22:10:00
  发帖心情 Post By:2018/8/2 12:11:00 [显示全部帖子]

甜老师

就这个例子,
Dim jo As JObject = Jobject.Parse(str)
msgbox(jo.ToString)

如果 str > "" 如何判断 里面 的 jo("list")  里面 的元素 > 0 ?

我现在历遍的方法 是:

 For Each o As JObject In jo1("list") 
next

如果变成 数字 的历遍要怎么写?

For i As Integer = 0 To jo1("list") .count - 1 
next

?


 回到顶部
帅哥哟,离线,有人找我吗?
ap9709130
  6楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:六尾狐 帖子:1472 积分:11478 威望:0 精华:0 注册:2013/11/24 22:10:00
  发帖心情 Post By:2018/8/2 12:48:00 [显示全部帖子]

甜老师

 For Each o As JObject In jo1("list")  这个是没有问题。

但为什么我直接取值就会报错,比如

Dim o As JObject = Jobject.Parse(jo1(“list”))

这样也不行?
Dim o As JObject = Jobject.Parse(jo1(“list”).ToString)

要怎么才能直接取值?多谢!

 回到顶部
帅哥哟,离线,有人找我吗?
ap9709130
  7楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:六尾狐 帖子:1472 积分:11478 威望:0 精华:0 注册:2013/11/24 22:10:00
  发帖心情 Post By:2018/8/2 14:15:00 [显示全部帖子]

老师

已经找到帮助了,多谢!

 回到顶部
帅哥哟,离线,有人找我吗?
ap9709130
  8楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:六尾狐 帖子:1472 积分:11478 威望:0 精华:0 注册:2013/11/24 22:10:00
  发帖心情 Post By:2018/8/3 11:40:00 [显示全部帖子]

甜老师

现在这个网页:http://125.35.6.80:8080/ftba/fw.jsp   已经有验证码了.

用这种方法,怎么样能把 那个验证码 另存在指定目录? 然后现在有什么好的API 可以识别这个验证码? 然后还能获取数据. 多谢!

 回到顶部