
之前都是用go语言爬虫的,学习了一点python,尝试着用scrapy框架爬虫
爬虫之前需要大致了解一下scarpy框架,官方文档实在看的累,找了一个中文翻译的简要了解了一下,地址是(http://www.scrapyd.cn/doc/165.html)
爬取的扇贝网的英语词汇(https://www.shanbay.com/wordbook/34/), 虽然网页访问是要登录的,但是实际爬虫幷不需要。
- 1.扇贝网的文档结构十分统一
- 2.右上角的搜索框,搜一个单词,很容易就通过调试获取到单词信息接口
- 3.接口有次数限制,最好控制一下频率或者使用代理
昨天,蚂蚁金服被喷了,原因是其开源带代码(https://github.com/ant-design/ant-design) 里埋下一个在圣诞节才触发的彩蛋。不凑巧的是,某部最近才发文,思想是“中国人不过洋节”。
于是,在第一个洋节就出了一堆彩蛋引发的事件,情节严重者就要失业、背锅。传称,“在代码里下毒”。AntDesign自然而然遭遇炮轰(https://github.com/ant-design/ant-design/issues/13848) 。