python爬取网页信息时出现UnicodeEncodeError

print( response.text)
UnicodeEncodeError: 'gbk' codec can't encode character '\xa9' in position 252144: illegal multibyte sequence

UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xa9’ in position 11163: illegal multibyte sequence

此问题出现时先转码为GBK，在加上ignore参数，在解码为GBK即可解决

解决办法：

print( response.text.encode('gbk','ignore').decode('gbk'))

注释：如果说不止一个爬虫脚本或者网站运行出现这个错误，那就不是代码问题了！看看你pycharm编码配置！！亲测的一个坑，我的当时就是pycharm编码的问题，设置路径：file->setting->Editor->File Encodings

爬虫杂谈

相关

标签