live41进来 - 闲聊灌水

| 网站首页 | 业界新闻 | 小组 | 威客 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛 |

编程论坛 → 非技术区 → 『闲聊灌水』 → live41进来

我的收件箱(0)

共有 1452 人关注过本帖

标题：live41进来

取消只看楼主加入收藏

Knocker

等　级：贵宾
威　望：47
帖　子：10454
专家分：603
注　册：2004-6-1
结帖率：92.86%

楼主

问题点数：0 回复次数：12

live41进来

如何取得一个网站的html文件的目录树？

九洲方除百尺冰，映秀又遭蛮牛耕。汽笛嘶鸣国旗半，哀伤尽处是重生。 -老K
治国就是治吏。礼义廉耻，国之四维。四维不张，国之不国。 -毛泽东

2007-03-19 15:18

Knocker

等　级：贵宾
威　望：47
帖　子：10454
专家分：603
注　册：2004-6-1

第 2 楼

得分:0

或者说，如何爬完整站？保证不漏一个？

九洲方除百尺冰，映秀又遭蛮牛耕。汽笛嘶鸣国旗半，哀伤尽处是重生。 -老K
治国就是治吏。礼义廉耻，国之四维。四维不张，国之不国。 -毛泽东

2007-03-19 15:20

Knocker

等　级：贵宾
威　望：47
帖　子：10454
专家分：603
注　册：2004-6-1

第 3 楼

得分:0

flashget 有个站点资源探测器，其实现原理是什么？

九洲方除百尺冰，映秀又遭蛮牛耕。汽笛嘶鸣国旗半，哀伤尽处是重生。 -老K
治国就是治吏。礼义廉耻，国之四维。四维不张，国之不国。 -毛泽东

2007-03-19 15:22

Knocker

等　级：贵宾
威　望：47
帖　子：10454
专家分：603
注　册：2004-6-1

第 4 楼

得分:0

以下是引用suyongtao在2007-3-19 15:21:36的发言：
迅雷可以

迅雷也可以？其实现原理是什么？肯定不是整站爬一遍，有没有相关资料？

九洲方除百尺冰，映秀又遭蛮牛耕。汽笛嘶鸣国旗半，哀伤尽处是重生。 -老K
治国就是治吏。礼义廉耻，国之四维。四维不张，国之不国。 -毛泽东

2007-03-19 15:23

Knocker

等　级：贵宾
威　望：47
帖　子：10454
专家分：603
注　册：2004-6-1

第 5 楼

得分:0

以下是引用live41在2007-3-19 16:14:07的发言：

我晕你，你是想找到隐藏链接还是什么啊？直接去下载个动网源码包不是更快？

用网络蜘蛛也不过是搜索其url，不是想ftp那样能全显示出来的

如果我要用搜索的方法获得站点的静态文件目录树，我就不用问这么多了，我看flashget 站点资源探测器获得目录树的速度很快，是不是有其它方法？

九洲方除百尺冰，映秀又遭蛮牛耕。汽笛嘶鸣国旗半，哀伤尽处是重生。 -老K
治国就是治吏。礼义廉耻，国之四维。四维不张，国之不国。 -毛泽东

2007-03-19 16:22

Knocker

等　级：贵宾
威　望：47
帖　子：10454
专家分：603
注　册：2004-6-1

第 6 楼

得分:0

是这样，我接一活儿，需要把一个站点的数据抓下来，是静态页面上的数据，但是，它的为了防止别人抓，它做了两点措施影响了我的工作

1。我要的数据所在的静态页面的文件名没有规律性，是随机产生字符串，如 /FdrHytGrGhhgj.html
2.重要数据转成图片显示，就是象论坛验证码，这点我好处理

问题在1，我看了一下它的网址构造，我要的页都在 http://aaa.aaa.aaa//bbb BBB目录下，所以，我在想，是否有得到BBB下的所有html的方法？

九洲方除百尺冰，映秀又遭蛮牛耕。汽笛嘶鸣国旗半，哀伤尽处是重生。 -老K
治国就是治吏。礼义廉耻，国之四维。四维不张，国之不国。 -毛泽东

2007-03-19 16:52