爬虫在采集网站的爬虫过程中，部分数据价值较高的手把手教网站，会限制访客的采集访问行为。这种时候建议通过登录的登陆到数方式，获取目标网站的爬虫cookie，然后再使用cookie配合代理IP进行数据采集分析。手把手教
1 使用表单登陆
这种情况属于post请求，采集即先向服务器发送表单数据，登陆到数服务器再将返回的爬虫cookie存入本地。
#! -*- encoding:utf-8 -*- import requests import random import requests.adapters # 要访问的手把手教目标页面 targetUrlList = [ "https://httpbin.org/ip", "https://httpbin.org/headers", "https://httpbin.org/user-agent", ] # 代理服务器(产品官网 www.16yun.cn) proxyHost = "t.16yun.cn" proxyPort = "31111" # 代理隧道验证信息 proxyUser = "username" proxyPass = "password" proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { "host": proxyHost, "port": proxyPort, "user": proxyUser, "pass": proxyPass, } # 设置 http和https访问都是用HTTP代理 proxies = { "http": proxyMeta, "https": proxyMeta, } # 访问三次网站，网站模板使用相同的采集Session(keep-alive)，均能够保持相同的登陆到数外网IP s = requests.session() # 设置cookie cookie_dict = { "JSESSION":"123456789"} cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True) s.cookies = cookies for i in range(3): for url in targetUrlList: r = s.get(url, proxies=proxies) print r.text 2 使用cookie登陆
使用cookie登陆，服务器会认为你是爬虫一个已登陆的用户，所以就会返回给你一个已登陆的手把手教内容。因此，采集需要验证码的情况可以使用带验证码登陆的cookie解决。
response_captcha = requests_session.get(url=url_login, cookies=cookies) response1 = requests.get(url_login) # 未登陆 response2 = requests_session.get(url_login) # 已登陆，因为之前拿到了Response Cookie！ response3 = requests_session.get(url_results) # 已登陆，因为之前拿到了Response Cookie！服务器租用 若存在验证码，此时采用response = requests_session.post(url=url_login, data=data)是不行的，做法应该如下：
response_captcha = requests_session.get(url=url_login, cookies=cookies) response1 = requests.get(url_login) # 未登陆 response2 = requests_session.get(url_login) # 已登陆，因为之前拿到了Response Cookie！ response3 = requests_session.get(url_results) # 已登陆，因为之前拿到了Response Cookie！ 【编辑推荐】
TIOBE 11月榜单：Python挤掉了Java！ React Concurrent Mode三连：是什么/为什么/怎么做 Linux高性能网络编程之TCP连接的内存使用 Python曾是程序员的“瑞士军刀”，而如今正被慢慢取代 全球疫情下的网络安全：警惕“趁火打劫”的线上攻击源码库