华人澳洲中文论坛

热图推荐

    摹拟用户登录网页有甚么对比好的现成言语框架?

    [复制链接]

    2021-5-18 01:12:45 343 14

    我想自动化完成用户登录网站,点击按钮,提交表单,抓取网页上的信息

    这方面有甚么对比好的现成言语和框架,大家能够倡议下?谢谢

    次要是想自动化完成提交表单功用,不外看起来貌似和scrapping差未几?

    我平时任务很少接触过这方面内容,不知道哪位大侠对比熟这方面任务能够提个倡议

    谢谢

    全部回复14

    仓颉 发表于 2021-5-18 00:32:22

    仓颉 沙发

    2021-5-18 00:32:22

    爬虫?
    宫城飞雪 发表于 2021-5-18 00:37:02

    宫城飞雪 板凳

    2021-5-18 00:37:02

    Python Scrapy
    宫城飞雪 发表于 2021-5-18 00:42:00

    宫城飞雪 地板

    2021-5-18 00:42:00


    scrapy我看了下,好像只能纯正爬虫,不克不及js交互的

    我更症结要摹拟用户登录点击,提交表单,

    当初我用puppeteer,对比满意
    天籁落尘 发表于 2021-5-18 00:43:12

    天籁落尘 5#

    2021-5-18 00:43:12

    你这是要完成抢购,刷单?
    nikos 发表于 2021-5-18 00:46:48

    nikos 6#

    2021-5-18 00:46:48


    我的券商不反对api买卖,只好这么干

    只是自动化买卖罢了
    sungxdc 发表于 2021-5-18 00:48:37

    sungxdc 7#

    2021-5-18 00:48:37

    Cypress, webdriverio 这些也能够知足需要
    亮亮 发表于 2021-5-18 00:52:40

    亮亮 8#

    2021-5-18 00:52:40

    selenium
    vajrahara 发表于 2021-5-18 00:54:08

    vajrahara 9#

    2021-5-18 00:54:08


    恩,我看了一些框架引见,看起来puppeteer是最合适我了

    速度够快

    我摹拟用户网页买卖,大略能够做到1s买卖一次,次要有时分网速有delay
    shijun2001 发表于 2021-5-18 00:57:30

    shijun2001 10#

    2021-5-18 00:57:30

    我始终在做这个。只管他不提供地下的API,你能够剖析每个申请嘛。破解下不就是API了么。不明确的话,你分割我。我级别还不敷发站短
    kelisi 发表于 2021-5-18 01:01:54

    kelisi 11#

    2021-5-18 01:01:54


    哈哈,你这个思绪牛b
    不外我写这个是便利我的集体买卖罢了,我也不是高频买卖,1s一次对我入不敷出,我大略一天买卖5次摆布

    我看了一下api交互,要整个破解彻底可能的,就是挺花时间的
    对我集体来讲从1s/次进步到1ms/次,也彻底没无意义

    有这个时间我不如多剖析几只股票

    除非做出来的货色能变为软件拿出去卖,还有点意义
    不然,这个时间投入不值得

    不外你这个是顺序员的思绪,要点赞
    蜜糖熊 发表于 2021-5-18 01:03:29

    蜜糖熊 12#

    2021-5-18 01:03:29


    我比来也在做股票的。能够交流下啊。澳洲两千多股的数据我都拿到了。
    大星星 发表于 2021-5-18 01:07:03

    大星星 13#

    2021-5-18 01:07:03



    频率过快的话 办事器不会泛起recapcha 或者给你429么?
    mycube 发表于 2021-5-18 01:08:17

    mycube 14#

    2021-5-18 01:08:17

    我selenium/ casperJS写了得多,个别网页应答没问题了; 但若前段是象react / vue这类js framework, selenium好像没方法capture ajax call data;用puppeteer就能;
    都市清风 发表于 2021-5-18 01:12:45

    都市清风 15#

    2021-5-18 01:12:45

    Java&maven + selenium webdrive
    假如要完成自动化, 再加Jenkins 框架构造

    发表回复

    您需要登录后才可以回帖 登录 | 立即注册

    返回列表 本版积分规则

    :
    论坛元老
    :
    论坛短信
    :
    未填写
    :
    未填写
    :
    未填写

    主题336

    帖子4689

    积分10568

    图文推荐