python: scrapy 模拟登录

  1.  
  2. 携带 cookies 进行页面访问
  3.  官方文档
    1. Using a dict:
      request_with_cookies = Request(url="http://www.example.com",
                                     cookies={'currency': 'USD', 'country': 'UY'})
      
    2. Using a list of dicts:
      request_with_cookies = Request(url="http://www.example.com",
                                     cookies=[{'name': 'currency',
                                              'value': 'USD',
                                              'domain': 'example.com',
                                              'path': '/currency'}])

      4.CookiesMiddleware 的使用 [TODO]

 

 

 

 

参考:

[1]http://www.pycoding.com/2016/04/12/scrapy-11.html

[2]http://cilab-undefine.github.io/2016/01/26/2016-01-26-scrapy%E4%BC%AA%E8%A3%85%E6%B5%8F%E8%A7%88%E5%99%A8%E5%8F%8A%E6%A8%A1%E6%8B%9F%E7%99%BB%E9%99%86/

[3] https://doc.scrapy.org/en/latest/topics/request-response.html [官方文档]

[4]http://blog.javachen.com/2014/06/08/using-scrapy-to-cralw-zhihu.html [爬取知乎的模拟登录例子,这个详细]

[5]

发表评论

电子邮件地址不会被公开。 必填项已用*标注