摘要：
读懂pythonrequests库需要什么基础你问这个问题说明你在学爬虫吧其实requests这个包需要的基础就是你的Pytho n基础.但是使用requests就需要你有HTML...
读懂python requests库需要什么基础
你问这个问题说明你在学爬虫吧
其实requests这个包需要的基础就是你的Python基础.
但是使用requests就需要你有HTML的基础了,这个是必须要了解的.
更进一步你学习爬虫, BeautifulSoup你是需要用到的吧, 麻烦一点的网页, 你需要了解CSS, JavaScript .
所以你需要知道 :
1. Python基础语法(肯定的啦)
2. HTML(必要)
3. JavaScript(必要)
4. CSS(推荐)
学习Python编程 有哪些爬虫技术需要掌握
想学爬虫,首先你得熟悉tcp、http协议,这是理
论基础.其次,python常用的爬虫库urllib、urllib2、requests等得熟悉,碰到反爬网站强的可以用phontomjs+selenium等模拟浏览器等爬取方式,信息提取这块常用的是beautifulsoup或xpath等工具,正则匹配也要熟,爬虫量比较大得用分布式,常用的爬虫框架scrapy-redis你得熟,代理ip这块你也得了解该怎么用,碰到棘手的例如加密内容,你得懂js代码,因为加密过程一般在js代码中,暂时你要学的大致就是这么多了,爬虫这条路也不简单,后面涉及到APP爬虫还有数据存储分析这款
从零开始学会Python 爬虫,怎么做
建议先学基础,把数据类型,表达式,函数,模块学懂后,结合一些简单的html知识和基本爬虫库如requests,编写简单定向爬虫其实很简单,应付一般的数据采集绰绰有余.进阶一点的话,如果要使用爬虫框架,如scrapy或是自己写框架,就要学懂学透类的使用.再高级一点,如分布式架构,参数破解,网络协议,客户端分发,就越走越远啦……可能就需要学另外的语言啦
