| 网站首页 | 业界新闻 | 小组 | 威客 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
共有 343 人关注过本帖
标题:怎样将“VFP论坛”上发表的帖子主题下载下来
只看楼主 加入收藏
cssnet
Rank: 5Rank: 5
等 级:职业侠客
威 望:5
帖 子:525
专家分:380
注 册:2013-10-4
收藏
得分:0 
以下是引用吹水佬在2025-11-14 17:25:50的发言:

示例只取两页作为参考
因大量处理字符串,用解析器取数据还是觉得不快,用vfp字符串函数处理就更慢。
所以用指针来试试,可能有风险,不能照抄。


其实,有没考虑过,之所以有时要采用最龟速的方式,一页一页慢吞吞地爬取网页(注:只需抓取少量网页,比如说,一、二百页的前提下),刻意模拟浏览器的正常点击,然后显示网页,其主要目的是规避被目标网站屏蔽、拉黑的风险。
否则的话,为什么不直接采用 WebZip 之类老牌、成熟的解决方案,却要自己费力写网页抓取代码?
昨天 18:09
吹水佬
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
等 级:版主
威 望:451
帖 子:10842
专家分:43464
注 册:2014-5-20
收藏
得分:0 
这类问题没有通式
能快时你会让其慢吗?
昨天 18:28
nbwww
Rank: 8Rank: 8
等 级:贵宾
威 望:11
帖 子:382
专家分:937
注 册:2021-1-9
收藏
得分:2 
吹版,用你的 WebView可以基本完整的爬取整个网站   
WebView_PrintToPDF(cDefPath+STREXTRACT(bccn.url,'/','html',3)+"pdf")

昨晚 19:00
nbwww
Rank: 8Rank: 8
等 级:贵宾
威 望:11
帖 子:382
专家分:937
注 册:2021-1-9
收藏
得分:0 
回复 13楼 nbwww
图片附件: 游客没有浏览图片的权限,请 登录注册


[此贴子已经被作者于2025-11-14 19:04编辑过]

昨晚 19:02
nbwww
Rank: 8Rank: 8
等 级:贵宾
威 望:11
帖 子:382
专家分:937
注 册:2021-1-9
收藏
得分:0 
就是因为上面这个主题,那个时候把近几年的都爬下来了
昨晚 19:05
吹水佬
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
等 级:版主
威 望:451
帖 子:10842
专家分:43464
注 册:2014-5-20
收藏
得分:0 
以下是引用王咸美在2025-11-14 18:02:35的发言:

谢谢! 如果要将整个338页全部爬下来,代码要怎么改?我想要个思路,不一定要全部爬下来。

话头画公仔都画出肠
我的变少少就是 for i=1 to 2
你的再变变就是 for i=1 to 338


昨晚 19:21
王咸美
Rank: 1
等 级:新手上路
帖 子:848
专家分:3
注 册:2018-1-4
收藏
得分:0 
@吹水佬:首先表示感谢!我运行程序出现下列错误,不知为何?如何修正,盼指点!
图片附件: 游客没有浏览图片的权限,请 登录注册

图片附件: 游客没有浏览图片的权限,请 登录注册

图片附件: 游客没有浏览图片的权限,请 登录注册
昨晚 19:31
cssnet
Rank: 5Rank: 5
等 级:职业侠客
威 望:5
帖 子:525
专家分:380
注 册:2013-10-4
收藏
得分:0 
以下是引用吹水佬在2025-11-14 18:28:51的发言:

这类问题没有通式
能快时你会让其慢吗?


不是快慢的问题。
以前我一般会提取某个小说目录网页的全部静态链接,然后用迅雷、网络蚂蚁批量下载,速度飞快!
后来发觉不行了,现在的网站似乎自动屏蔽了非浏览器正常点击的程序化访问,特别是批量断点续传下载的软件访问——于是特意慢速模拟正常点击访问。
正所谓,欲速则不达!——有时老祖宗的教训是有道理的。

昨晚 19:50
王咸美
Rank: 1
等 级:新手上路
帖 子:848
专家分:3
注 册:2018-1-4
收藏
得分:0 
图片附件: 游客没有浏览图片的权限,请 登录注册
昨晚 19:55
吹水佬
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
等 级:版主
威 望:451
帖 子:10842
专家分:43464
注 册:2014-5-20
收藏
得分:0 
回复 19楼 王咸美
不要照抄
第1个异常是路径问题,要根据自己的去做。
出现异常即时“取消”退出,继续探讨。

昨晚 20:22
快速回复:怎样将“VFP论坛”上发表的帖子主题下载下来
数据加载中...
 
   



关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.020543 second(s), 11 queries.
Copyright©2004-2025, BC-CN.NET, All Rights Reserved