求保举数据抓取的framework

anyany

想要找一个成熟一点的数据抓取framework， python 或者ruby 最佳。

丫头片子

你指的是screen scraping?

dm511116

http://scrapy.org/

yjq

Selenium IDE  firefox下的相似于脚本的工具，也有各种言语的接口:
http://addons.mozilla.org/en-us ... xpert-selenium-ide/

亿云

差未几，不外是api档次的数据抓取

口红

这个是python的吧，不知道对js反对怎样？ 咱们也有相似需要，当初用casperJS

i58liu

scrapy着重于高并发下的HTML抓取，其实不真正渲染页面。

相似casperJS，phantomJS这类需求把HTML和Javascript丢到webkit引擎里渲染，效力不会过高，更多用于测试用处。

赛伊

不要去渲染页面，只是用于数据聚合和再利用。

niubala

咱们的页面，要点击/输出好几个step能力达到，同时可能要等候ajax request前往静态页面，所以咱们才选用casperJS， 用js promises 的sucess/failure 后果 进行下一个step的操作 ；

这个scrapy 看主页似乎 间接调取html，不知道对静态页面反对如何？

znli1979

间接用WinHttp.WinHttpRequest.5.1吧，灵敏点，就是要本人manipulate raw data罢了