python3对文件编码的转换处理

前言：

嗨喽~大家好呀，这里是魔王呐 ❤ ~!

python更多源码/资料/解答/教程等点击此处跳转文末名片免费获取

公司同事邀我一起给SQLSERVER 2008导数，数据来源有高斯和ORACLE, 数据文件保存格式有UTF-8和GBK。

当我在做测试导入的时候发现SQLSERVER 2008数据库的WITH选项不支持CODEPAGE=‘65001’, 即UTF-8文件编码格式导入。所以需要把UTF-8编码的文件统一转换成GBK，代码如下。

示例一：

import os, sys
import chardetsource_file = sys.argv[1]  # 源文件
dest_file = sys.argv[2] # 转后的目标文件# 确定源文件字符编码
for row in  open(source_file, 'rb'):tmp = chardet.detect(row)language = tmp.get("encoding")if language.upper == 'UTF-8':charset = "UTF-8"else:charset = "GB18030"break# 将文件转换成GBK编码
with open(dest_file, 'w', encoding="GB18030") as fp:for row in open(source_file,'r', encoding=charset):fp.write(row)

在转换生产数据的时候还算好用，但有些字符还是无法很好的识别，导致转换失败。
　
在网上又看到了一个专门用来编码转换的包:codecs, 用法大同小异

示例二：

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：926207505
寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
import os, sys
import chardet
import codecssource_file = sys.argv[1]  # 源文件
dest_file = sys.argv[2] # 转后的目标文件# 确定源文件字符编码
for row in  open(source_file, 'rb'):tmp = chardet.detect(row)language = tmp.get("language")if language == 'Chinese':charset = "GB18030"else:charset = "UTF-8"break# 将文件转换成GBK编码
fp = codecs.open(dest_file, 'w', encoding="GB18030") # 中文编码写入
for row in codecs.open(source_file, 'r', encoding=charset): # 指定编码读fp.write(row)<br>fp.close()

通过 Unicode 编码来进行不同编码之间的相互转化

不同的编码之间不能互相识别，不能相互转化，会报错或出现乱码
国际通用标准：文字通过网络传输、或硬盘存储等不能使用 Unicode 编码方式，因为 Unicode 使用的是升级版 32 位的，太费流量和空间
在 Python3 版本中，唯独 string 在内存中的编码方式是 Unicode，所以字符串不能直接进行网络传输及进行文件的存储
bytes：也是一种数据类型，不是字节，与 string 类型就像是孪生兄弟
为啥要有 bytes ？—— bytes 内部编码不是 Unicode 方式，因此可以进行网络传输和文件的存储
不同编码之间相互转化都需要先变成unicode编码, encode编码， decode解码

示例：

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：926207505
寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
s1 = "中国"
b=s1.encode("gbk")
s2 = b.decode("gbk")
s3=u"中国"print(s1)
print(b)
print(s2)
print(s1==s2==s3)

结果：

中国
b'\xd6\xd0\xb9\xfa'
中国
True

在python3版本中, 字符串的编码方式就是Unicode，所以中国==u"中国"

各系统的默认编码方式

WINDOWS: GBK
LINUX: UTF-8
IOS: UTF-8

示例：

# windows下生成的文件打开方式
with open(r"d:\test.txt") as fp:print(fp.read())# linux下生成文件的打开方式
with open(r"d:\test.txt"， encoding="utf-8") as fp:print(fp.read())