Python爬虫如何发送实时信息 ？

ftq

编程小白比来开始学python爬虫，爬一个信息实时更新的路途状况网站，网站不按时更新。当初曾经完成的顺序是每隔5分钟抓取一次，而后发送到邮件。

发现这样会形成许多反复的邮件，没无效率。。。想修正顺序完成：一旦网站更新信息才抓取而后发送，而后爬虫监测直到下一个更新信息泛起再抓取发送，如斯循环。

我是入门小白，能想到的方法就是把抓取的内容放到txt文档里，而后不停比对新抓取的内容，假如纷歧致才发送邮件。

请各位高手提点，感激。

necely

只有能达到你的目的就能了
想要详细的，你给出网站，能够看看有没有更好的方法

ch12345

这类网站应该有定阅办事，被动推送更新的吧

wgqpy

保留上一次的数据，再爬的时分比较一下再抉择要不要发新邮件

庸人

我当初是保留到txt，而后再爬的时分读文件进行比较，但我感觉这样有点傻。。。

有无更好保留数据的办法呢？

paranoid

就是为了熬炼爬虫技巧啊 哈哈

chayiyu

干吗需求更好的呢

freesky20021001

感觉我本人的这办法没啥效力 由于初学嘛 不克不及本人凭空捏造哈哈

aidiansansan

md5 算一下 值变量在抓

lkm

以前的MD5值寄放在哪里以便进行比对呢？

xujun74

放在一个python变量里不行吗？

gxzh

嗯 放到变量里进行比对，假如有新值就交换而后发邮件，否则就保留，好方法。

sanjin

   这不就是python最简略的前提判别么......

sissyboy

倡议不敷养分

ytmail

check if the server support http response 304 ‘Not Modified’

yipianlvdi

一些网站经过 long polling 或者更先进的 websocket 来推送更新， 假如你要做到有了通知才去抓，那末你的爬虫得可以了解和履行 javascript 或者处置 websocket 衔接。这毫无须要，无故减少繁杂度。

简略粗暴的解决问题就行了，就比较你抓上去的 txt， 没甚么欠好。

爱上广州

高级做法：
每次爬了页面把你关怀的数据存到文件或者数据库，下次再抓回来就做一次比较。而后发邮件


进阶做法：
爬虫尽管爬页面，此外写个后盾承受爬虫拿到的数据。 后盾收到数据后和数据库比较，而后trigger 自定义的action （发邮件，发短信 or whatever）



唬人做法：
爬虫放docker， 做集群，拉了数据回来喂aws Kinesis， 甚么hadoop，zooke，机器学习，能加的都加之。再上链发个币， 融资，上市，走上人生巅峰。