requestium
chrome浏览器的安装版或绿色便携版要加.exe，chromedriver驱动无.exe。
不显示……测试软件的控制、无头同在[]内，插件等新版，无图用{}；CentBrowser的Chrome内核版本低，暂用不了headless。
from requestium import Session,Keys
options={'arguments':['disable-infobars','headless'], #'extensions':['D:/去广告 3.2.crx']
'experimental_options':{'prefs':{'profile.managed_default_content_settings.images':2}},
'binary_location': 'D:/Program Files/Browser/ChromeQuic/chrome.exe'}
s=Session('C:/Program Files/Python36/chromedriver','chrome',7,options)
#s.proxies.update({'http':f'http://{ip:port}','https':f'https://{ip:port}'}) #s.headers={'User-Agent':'…'}
#s.driver.get('about:blank')
*******************分割线*******************
提取或定位：
s.driver、s.get('',headers={}).json()、s.post('',data={}).content.decode()，这仨请求都有3.5个返回普通对象的提取法——任意匹配为((.|\s)*?)的re_first和re，需.extract()的css和xpath，前者返回str，后仨是list：
.re_first('\d+',default='555')、.re('')[0]、.xpath('').extract()[0]、.css('').extract_first(default='666')
re.findall(pattern,string,re.S)提取外()和内()的值用的是双层索引，即[num][0]和[num][1]，而requestium中的re却有点特殊，外&内()的值没再套个()而是直接罗列在[ ]，提取各个外()的值用[::2]，内()用[1::2]。
re_first取到的是首个匹配下的外()的内容，等同re('')[0]，若需要首个匹配下的内()就不能用re_first了。
s.driver还有.find_element_by_*的进阶版.ensure_element_by_css_selector('',state='clickable',timeout=7)等等，返回的WebElement对象，可以：
什么都不干，坐等标签加载出来；提取内容和属性如.text、.get_attribute('')；
定位如.click()、.ensure_click()、.send_keys(Keys.CONTROL,'A')、.is_selected()、.is_displayed()。
state参数用默认的present通常足矣，不行还可换用clickable、visible、invisible (waiting for loading...的场景，不必等加载完)。
*******************分割线*******************
杂项：
s.driver.close()、.quit()、.back()、.forward()、.refresh()：关闭选项卡、退出浏览器、后退前进刷新
s.driver.title、.current_url、.page_source：当前视图的标题、网址、网页源代码
s.driver.ensure_add_cookie({}型的cookies, override_domain='')：对浏览器当前访问过的各域站，都添加这个cookies。
s.transfer_driver_cookies_to_session()，共享了cookies、User-Agent、proxies。
反：s.transfer_session_cookies_to_driver()，requests暂只共享proxies给PhantomJS，chrome等新版。
binary_location中自定义的Chrome路径，Quic移动版保留了插件及插件选项设置，首次运行后还保留了session，下次运行可跳过登录等环节，直接上s.transfer_driver_cookies_to_session()；而安装版就没携带插件以及保留session。不过Quic版模拟登录一些网站如百度，或许存在元素定位不准的问题。用安装版还是Quic移动版，视网站而定。
****************************************分割线****************************************
小众搜索(requests+parse，未结合selenium)：
from pprint import pprint
from gevent import monkey;monkey.patch_all()
from gevent.pool import Pool
from requestium import Session
from fake_useragent import UserAgent
from urllib.parse import quote
def spider1(word):
s=Session('','chrome')
response=s.get(f'http://bird.so/search?q={word}')
xsrf=response.re_first('xsrf" value="((.|\s)+?)"')
s.headers={'referer':f'http://bird.so/search?q={quote(word)}', #头里不能有中文
'Cookie':f'_xsrf={xsrf}','Content-Type':'application/x-www-form-urlencoded'}
return s,xsrf
def spider2(s,xsrf,word,page):
s.headers.update({'User-Agent':UserAgent().random})
response=s.post('http://bird.so/fuck',data=dict(_xsrf=xsrf,q=word,page=page)).json()
with open('E:/birdSo.txt','a',encoding='utf8') as f:
for item in response['items']: #输出为json样式可用pprint(response)
f.write('\n'.join([item['title'],item['formattedUrl'],item['snippet'],'\n']))
def main():
s,xsrf=spider1(word)
[p.spawn(spider2,s,xsrf,word,page) for page in range(1,7)]
p.join()
if __name__ == '__main__':
p=Pool(size=9)
word='爬虫'
main()
****************************************分割线****************************************
seleniumのloginedSession transfer to requests：
Egのoschina：
loginUrl='https://www.oschina.net/home/login' indexUrl ='https://my.oschina.net' userName='904477955@qq.com' pwd='123456789cy' from requestium import Session,Keys from fake_useragent import UserAgent options={'arguments':['disable-infobars','headless'], #无地址栏信息条&头，禁图，自定义路径 'experimental_options':{'prefs':{'profile.managed_default_content_settings.images':2}}, 'binary_location': 'D:/Program Files/Browser/ChromeQuic/chrome.exe'} s=Session('C:/Program Files/Python36/chromedriver','chrome',7,options) driver=s.driver def loginByBrowser(): driver.get(indexUrl) #移动版Chrome保留有session，当前访问过的域名才能删掉其cookies driver.delete_all_cookies() driver.get(loginUrl) css=driver.ensure_element_by_css_selector css('#userMail').send_keys(userName) css('#userPassword').send_keys(pwd,Keys.ENTER) css('#MySpace') if not driver.re_first('退出'):print('登录失败') def toRequests(): driver.get(indexUrl) #存有众多网站的session，当前访问过的那个站点才被共享 s.transfer_driver_cookies_to_session() #之后默认用driver共享的UA，也可自定义 driver.close();driver.quit() #Quic移动版的Chrome，关闭和退出都要有 response=s.get(indexUrl,headers={'User-Agent':UserAgent().random}).text if '个人资料修改' in response and '退出' in response: print('browser中该站点的session已共享给requests') if __name__ == '__main__': #loginByBrowser() #首次启用本句，Quic移动版Chrome保留了session，再运行可注释 toRequests() ****************************************分割线**************************************** Egの百度： Quic移动版对百度的元素定位不准，此例用不保留session的安装版CentBrowser(Chrome内核) indexUrl='https://www.baidu.com/' userName='……' pwd='……' from requestium import Session,Keys from fake_useragent import UserAgent options={'arguments':['disable-infobars'], #登录要识别验证码，故没用无头模式也没禁图 'binary_location':'D:/Program Files/Browser/CentBrowser/Application/chrome.exe'} s=Session('C:/Program Files/Python36/chromedriver','chrome',7,options) driver=s.driver def loginByBrowser(): driver.get(indexUrl) css=driver.ensure_element_by_css_selector css('#u1> a.lb').click() css('.tang-pass-footerBarULogin').click() css('[id$=userName]').send_keys(userName) css('[id$=password]').send_keys(pwd,Keys.ENTER) input('浏览器端手动输完验证码后，在本句句尾任敲一字母：') try:css('#TANGRAM__PSP_10__submit').click() except:pass css('.user-name') if not driver.re_first('退出'):print('登录失败') def toRequests(): driver.get(indexUrl) s.transfer_driver_cookies_to_session() driver.quit() response=s.get(indexUrl,headers={'User-Agent':UserAgent().random}).text if '个人中心' in response and '退出' in response: print('browser中该站点的session已共享给requests') if __name__ == '__main__': loginByBrowser() toRequests() ****************************************分割线**************************************** requests_html库： pip install requests-html==0.6.7,pyppeteer==0.0.10 from requests_html import HTMLSession s=HTMLSession() html=s.get('http://python-requests.org').html links=html.absolute_links css=html.find('#beloved-features li',first=False)[0] #.text、.attrs、.html html.render() #\.pyppeteer\…\CrashpadMetrics-active.pma：WinError 5 js=html.search('Python 2 will retire in only {m} months!')['m'] print(links,css,js,sep='\n')
loginUrl='https://www.oschina.net/home/login' indexUrl ='https://my.oschina.net' userName='904477955@qq.com' pwd='123456789cy' from requestium import Session,Keys from fake_useragent import UserAgent options={'arguments':['disable-infobars','headless'], #无地址栏信息条&头，禁图，自定义路径 'experimental_options':{'prefs':{'profile.managed_default_content_settings.images':2}}, 'binary_location': 'D:/Program Files/Browser/ChromeQuic/chrome.exe'} s=Session('C:/Program Files/Python36/chromedriver','chrome',7,options) driver=s.driver def loginByBrowser(): driver.get(indexUrl) #移动版Chrome保留有session，当前访问过的域名才能删掉其cookies driver.delete_all_cookies() driver.get(loginUrl) css=driver.ensure_element_by_css_selector css('#userMail').send_keys(userName) css('#userPassword').send_keys(pwd,Keys.ENTER) css('#MySpace') if not driver.re_first('退出'):print('登录失败') def toRequests(): driver.get(indexUrl) #存有众多网站的session，当前访问过的那个站点才被共享 s.transfer_driver_cookies_to_session() #之后默认用driver共享的UA，也可自定义 driver.close();driver.quit() #Quic移动版的Chrome，关闭和退出都要有 response=s.get(indexUrl,headers={'User-Agent':UserAgent().random}).text if '个人资料修改' in response and '退出' in response: print('browser中该站点的session已共享给requests') if __name__ == '__main__': #loginByBrowser() #首次启用本句，Quic移动版Chrome保留了session，再运行可注释 toRequests() ****************************************分割线**************************************** Egの百度： Quic移动版对百度的元素定位不准，此例用不保留session的安装版CentBrowser(Chrome内核) indexUrl='https://www.baidu.com/' userName='……' pwd='……' from requestium import Session,Keys from fake_useragent import UserAgent options={'arguments':['disable-infobars'], #登录要识别验证码，故没用无头模式也没禁图 'binary_location':'D:/Program Files/Browser/CentBrowser/Application/chrome.exe'} s=Session('C:/Program Files/Python36/chromedriver','chrome',7,options) driver=s.driver def loginByBrowser(): driver.get(indexUrl) css=driver.ensure_element_by_css_selector css('#u1> a.lb').click() css('.tang-pass-footerBarULogin').click() css('[id$=userName]').send_keys(userName) css('[id$=password]').send_keys(pwd,Keys.ENTER) input('浏览器端手动输完验证码后，在本句句尾任敲一字母：') try:css('#TANGRAM__PSP_10__submit').click() except:pass css('.user-name') if not driver.re_first('退出'):print('登录失败') def toRequests(): driver.get(indexUrl) s.transfer_driver_cookies_to_session() driver.quit() response=s.get(indexUrl,headers={'User-Agent':UserAgent().random}).text if '个人中心' in response and '退出' in response: print('browser中该站点的session已共享给requests') if __name__ == '__main__': loginByBrowser() toRequests() ****************************************分割线**************************************** requests_html库： pip install requests-html==0.6.7,pyppeteer==0.0.10 from requests_html import HTMLSession s=HTMLSession() html=s.get('http://python-requests.org').html links=html.absolute_links css=html.find('#beloved-features li',first=False)[0] #.text、.attrs、.html html.render() #\.pyppeteer\…\CrashpadMetrics-active.pma：WinError 5 js=html.search('Python 2 will retire in only {m} months!')['m'] print(links,css,js,sep='\n')