标签：网络爬虫

2017-08-23Leon阅读(7640)评论(0)赞(0)

为何选择煎蛋 一直看人家写爬虫，现在自己开写一个试试。但是，我现在刚起步，只能选择容易爬取的网站。那为何选择煎蛋呢？因为煎蛋有福利，而且反爬技术不高，嘿嘿嘿。 爬虫环境 系统：Windows 10 Python版本：Python 3.5 爬...

2017-08-14Leon阅读(4203)评论(0)赞(0)

简介 最近一个月，一直在学习scrapy爬虫框架，第一个爬取的网站是伯乐在线，但是，我在爬取该网站的时候，出现了一些难以理解的错误，经过深入的理解后，终于理解了怎么导致的错误，并把它修复好。现在，我把它记录下来，希望能对读者有一些帮助。 错...

2017-08-06Leon阅读(5056)评论(0)赞(0)

介绍 学习Python爬虫学习了一段时间了，也知道一点原理了。下面想把自己学习的成果记录下来。虽然只是初级教程，希望对初学者有帮助。 我自己使用的元素定位方法是CSS选择器法，因为之前学习PHP改写主题的时候，了解一些前端知识，用CSS更方...

2017-08-01Leon阅读(4818)评论(1)赞(0)

两种定位方法 我学习scrapy爬虫的方法是看视频，从视频里，我学习到爬虫爬取页面的指定内容的定位方法有两种，分别是xpath定位和CSS选择器。如有错误，请留言 xpath语法 当然，我从视频里学习到的只是讲师认为需要学习到的。下面我把知...

2017-07-31Leon阅读(4364)评论(0)赞(0)

树形图 上图是我在学习的过程中保存下来的树形图，现在就用这张图片，来演示我对爬虫爬取链接的原理的理解。 深度优先 记得在大一下期的时候，有一门课叫《数据结构》，现在说的就是其中的深度遍历算法。当然，本文中的并不是二叉树，因为网站的一个页面是...