python爬虫中文乱码

前几天用python来爬取全国行政区划编码的时候，遇到了中文乱码的问题，折腾了一会儿，才解决。现特记录一下，方便以后查看。

我是用python的requests和bs4库来实现爬虫，这两个库的简单用法可参照python爬取当当网的书籍信息并保存到csv文件

乱码未处理前部分代码

   url = '要爬取的网页'
    r = requests.get(url, timeout=30)
    soup = BeautifulSoup(r.text, 'lxml')

乱码原因

我爬取的网页使用的编码是GBK。所以要按GBK编码，才能避免中文乱码。

解决乱码的代码

   url = '要爬取的网页'
    r = requests.get(url, timeout=30)
    r.encoding='GBK'   #增加encoding=‘GBK’，解决中文乱码问题
    soup = BeautifulSoup(r.text, 'lxml')

【原创声明】转载请标明出处：https://www.cnblogs.com/surecheun/p/9694052.html

优质内容筛选与推荐>>
1、(z)一个30岁的不成功人士的年终总结
2、[Spark内核] 第40课：CacheManager彻底解密：CacheManager运行原理流程图和源码详解
3、实例数据8月16日更新
4、[转] 7. Bourne Shell及shell编程
5、读书笔记：《外语学习的真实方法及误区》

赞赏

长按二维码向我转账

受苹果公司新规定影响，微信 iOS 版的赞赏功能被关闭，可通过二维码转账支持公众号。

阅读

已发送

发送中