qt vs 编程 字符编码 程序从源码到编译到显示过程中存在的字符编码

理解字符编码，请参考：unicode ucs2 utf16 utf8 ansi GBK GB2312 CSDN博客 

汉字（或者说多字节字符）的存放需求，是计算机中各种编码问题的最直接原因。如果程序不直接使用汉字，或间接在所有操作步骤中统一使用utf-8编码，就不需要考虑字符编码的问题。

将所有源文件全部采用带BOM的utf8编码，编译器设置成使用utf8编码，setlocal设置成使用utf8编码，是解决乱码、汉字字符串导致跨平台编译不通过 以及 汉字信息遗失的最有效手段。

qt编译器默认新建文件存储为utf8，mingw编译器默认输入为utf8，编译器输出的字符也默认为utf8。
vs编译器在vs2015及以下，默认文件存储为ansi，编译器编译出的字符也默认ansi。VS2015(Visual Studio 2015 Update 2)及以上版本，可以使用无BOM的utf8编码。
vs2015默认采用ansi（GB2312）编码，vs2022默认采用utf8编码。可以通过指定source-charset编译参数对编译器进行字符编码设定（参见下方的 编译器对文字编码处理 章节）。

一、源文件编码、编译器对文字编码处理、最终的IDE显示字符编码

首先要明确区分源文件编码、IDE显示字符编码、编译器对文字编码处理是三个不同的分割独立的操作阶段。程序正确显示汉字，需要这三个阶段的字符编码都明确的正确的对接。
一个程序三个独立的字符编码阶段：

1、源文件编码

是写入源文件时就设定好的，指定了字符存放到文件中的字符编码方式。vs2015保存文件时(在中文环境下)默认使用ansi(GB2312)编码，vs2022保存文件时，默认使用带BOM的utf8编码。vs IDE上只有一个 高级保存选项 来逐个文件进行更改编码的操作：vs高级保存选项在哪-CSDN博客 。另外还有一个安装Force UTF-8 插件的操作可以让保存的文件为utf8编码保存。
qt中默认保存源码文件的字符编码可以自己设置，默认为utf-8+bom存在则保留。最好配置成utf-8+ 如果编码是utf-8则添加，这样可以使含有中文的代码在vs编译器下也能进行编译。也可以通过 编辑->select encoding来进行逐个文件更改编码操作。

需要注意的是编译器未能正确识别到文件编码时，中文注释也能影响编译器对源文件进行解析。 

2、编译器对文字编码处理、自主或第三方库强制使用字符编码

这个阶段的处理过后，字符会按 编译器对文字编码处理结果 或者 自主/第三方库强制使用字符编码 将存在的多字节字符 存放到.obj以及后续的exe文件中。这些操作控制着程序运行时内存中的字符编码，明确了解这个阶段的字符编码对程序正确使用多字节编码极为重要。

编译器对文字编码处理结果

1、vs 编译器： vs ide中在工程->属性->配置属性->C/C++->命令行->其它选项 中加入下面设置源码文件编码和执行文件编码的参数： /source-charset:GB18030   /execution-charset:utf-8
source-charset告诉编译器你的所有源文件使用了什么编码，如果这个参数不设置，编译器会根据bom头进行识别，如果无BOM头vs 2015编译器默认为GB13080编码（vs2022默认保存文件为带BOM的utf8编码，而无BOM头的文件也会被认为是GB13080编码）。vs编译器需要根据BOM头来识别是unicode的utf8编码、还是unicode的utf16（大小端）编码。
execution-charset告诉编译器你要将字符串编译后的存放成什么编码，vs2015默认使用GB2312（这种情况下，你会看到"𬌗"字在文件中正常，但调试时内存中却不见了。对于超出GB2312字符集的文字，会被编译器认为不可识别，编译器（vs2015）将会用值为0x3f3f的两个字节去替换而导致文字遗失），vs2022默认使用utf8。
windows下所有charset的名称都可以在vs ide的文件->高级保存选项->编码中找到，也可以在官网找：代码页标识符 - Win32 apps | Microsoft Learn  

2、gcc编译器：gcc或者类似gcc的编译器则在编译选项中加入这两个参数： -finput-charset=UTF-8   -fexec-charset=UTF-8 
道理与上面类似。区别是input-charset默认是utf-8；exec-charset默认是utf-8。

在qt中，通过.pro工程文件中设置QMAKE_CXXFLAGS参数来设置这两个编码，针对使用不同编译器要用不同的参数，比如使用gcc会类gcc编译器时，需要在工程.pro文件中加入下面参数

QMAKE_CXXFLAGS+=-finput-charset=UTF-8
QMAKE_CXXFLAGS+=-fexec-charset=GB18030

如果希望字符串不按照编译器整体的编译方案走，比如vs编译器采用默认ansi（GB2312）编码存放字符串，而你非要强制指定某个字符串以utf8的编码方式存入变量，则需要在字符串前加入u8；如果希望强制以utf16（宽字符）的编码方式将字符保存到wchar_t类型中，则在字符串前面加 L 。
下面是使用qt中mingw编译器编译后的，字符串中存放的编码（看调试结果中的p1、p2、p3的值）。（GB2312中没有”𬌗“字，所以让编译器以GB18030的编码方式存放字符串）

当在qt使用vs的编译器时，qt的对源文件的处理会与在vs ide中对源文件处理操作是一致。
在vs ide中，源文件中有中文时，可以将源文件保存为默认的GB2312编码。如果要指定用utf8编码保存文件，则必须要为utf8的源文件加入BOM头，否则极有可能会因为有中文而出现编译错误。
下面的案例中（在qt5中使用vs2015编译器，未设置input-charset 和exec-charset值），main.cpp不管是GB18030还是带BOM的utf-8编码，编译和运行时都会有这个结果，pstr1以ansi编码保存了字符串，pstr2以utf8编码保存了字符串。对应的编译后的main.obj文件以及exe中也会保存这样的结果。（如果文件以utf-8无BOM保存，这个例子中的"哦" 字会导致vs 2015/ vs2022的编译器编译失败）

vs2015默认是用ansi(2312)编码保存（vs2022默认是utf8编码），用默认的ansi编码保存源文件最大问题就是会导致不在GB2312编码中的中文文字信息的丢失！！！比如下面的 "𬌗" 字，不在GB2312范围内，而在GB18030范围内。



在windows+qt+vs 编译器的场景下，如果因为 无BOM的utf8编码的源码文件中 有汉字 导致编译不通过，可以按下面的步骤将源文件转变成带BOM的utf8编码的源文件。

qt的ui文件和qrc文件都只能使用utf-8编码，因为qmake对这些文件进行处理时无法识别其他编码。

自主或第三方库强制使用字符编码 

C++11中引入了L操作符，将字符串强制转换成unicode的utf16编码保存在编译后的文件中。
C++17中引入了u8操作符，将字符串强制转换成unicode的utf8编码保存在编译后的文件中。

    char str1[]=u8"你好𬌗"; //告诉编译器，这个字符串强制保存成unicode的utf8编码的字符串。obj文件和exe文件以及运行时内存中存放的字符编码都是unicode的utf8编码，E4BDA0 E5A5BD  F0AC8C97wchar_t str2[]=L"你好𬌗";//告诉编译器，这个字符串强制保存成unicode的utf16编码的字符串，obj文件和exe文件以及运行时内存中存放的字符编码都是unicode的utf16编码 ，4F60 597D  D870DF17

第三方库进行字符转换：
iconv进行字符编码的的显示转换：https://www.cnblogs.com/demon90s/p/7493566.html 
QString和QTextCodec进行字符编码的显示或隐式转：QString 与 字符编码 QTextCodec 
windows的widechartomultibyte和multibytetowidechar的字符转换：unicode ucs2 utf16 utf8 ansi GBK GB2312 互转 及 渲染_ucs2编码转换-CSDN博客

3、IDE显示字符编码

是IDE的显示和编辑字符时采用的编码，这是与制作IDE输入框的图形开发套装（GUI库）有关的，不管底层使用GDI还是directx还是opengl+freetype还是qt还是gtk，主流的都是支持Unicode的utf16编码。可能有一些开发板还使用点阵字库，可能只有2字节的gb2312编码，甚至只支持ascii编码。另外控制台输出和显示还有另外的问题，简体中文版的windows的控制台默认支持GB2312字符的显示。控制台不支持显示utf16或utf32这样的不兼容单字节的ascii编码的宽字节unicode的编码方案，但是支持兼容asii编码的unicode的utf8编码方案！！！（猜测很多命令行命令并没有做宽字符输出的功能，因为宽字符输出要求字母也是用两个字节）控制台是支持兼容ascii编码的ansi编码和utf8编码的显示的。
通过加入下面的代码设置控制台支持哪种字符编码

//控制台同一时刻只能支持一种编码
system("chcp 936");    //设置控制台接下来 支持GB2312编码 的字符的显示。
system("chcp 65001");  //设置控制台接下来 支持utf8编码 的字符的显示。

 控制台同一时刻只能支持显示一种字符编码。 通过控制台的右键->属性->选项可以进行查看

通过setlocale()设置也可以设置控制台支持的显示的字符编码
setlocale相当于在用户程序与系统程序之间加了转码操作的api层做操作，这些操作一般是在操作系统提供的api内部完成的，通过setlocale达到让这些api在这个程序范围内进行统一转码的操作。
通过setlocale()有效设置为非"C"之后，chcp的操作会失效。

//vs下 设置的字符串不用考虑大小写。
setlocale(LC_ALL, ".utf8");//设置成utf8，等效字符串有 ".UTF8"  ".UTF-8"  ".utf8"  ".utf-8"  或者在前面加上chinese_china或者Chinese (Simplified)_China（不区分大小写） ，以及"zh_CN.utf8" "zh_cn.utf8" "en_us.utf8"  "ja_JP.Utf-8" ， "Chinese (Simplified)_China.65001"
setlocale(LC_ALL, "Chinese (Simplified)_China.936");//设置成gb2312，等效字符串有："Chinese (Simplified)_China"，"zh_CN","zh_cn"，"chinese"，"chinese.936"，"Chinese_China.936"，"chinese_china"，
setlocale(LC_ALL, "" );//设置成系统默认的编码，与setlocale( LC_ALL, ".ACP" );等效。windows的简体中文版默认值一般就是chinese_china.936
setlocale(LC_ALL,nullptr);//获取当前的locale
setlocale(LC_ALL,"C");//设置成C locale

mingw编译器中使用的C++库 libstdc++ 对setlocal中的字符串解释以及功能没有windows vs提供的C++标准库ucrt.lib+vsruntimelib 库中的setlocale所支持的全面。下面是windows下的mingw所支持的编码字符串，不知道为何不支持utf8。

".936" "chinese_china.936"  "uk" "us" ".1252" "English_United Kingdom.1252" "English_United States.1252"

setlocal成功后，可以将wcout的内容输出到控制台窗口（pp返回字符串查看是否设置成功，下面是vs中的结果，mingw中wcout也仍然无法输出，且mingw的stdlibc++的setlocale不支持设置utf8）：


参考：代码页 code page- Windows Console | Microsoft Learn


setlocale()函数的作用-CSDN博客 
std::setlocale详解_setlocale c++-CSDN博客 
记录Windows下开发C/C++如何避免乱码 - 知乎 
控制台codepage​​​​​​ - Windows Console | Microsoft Learn 
codepage 标识符 - Win32 apps | Microsoft Learn
How to add Custom Fonts to Command Prompt in Windows 11/10 
字符集 - Win32 apps | Microsoft Learn

 2、VS IDE 工程的属性->常规->字符集中的 “使用 Unicode 字符集” 与 “使用多字节字符集” 的使用场景如下：

#include <tchar.h>
.....
TCHAR str[]=_T("你好");

使用TCHAR这样的宏来将 底层使用ansi编码的char类型还是utf16编码wchar_t类型 进行包装，以及对 对应的各种程序接口 进行包装。 选择 ”使用 Unicode 字符集“， 编译器会为工程添加 _UNICODE 宏；选择“使用多字节字符集” ，编译器会为工程添加 _MBCS 宏

#define _T(x)       __T(x)
#define _TEXT(x)    __T(x)#ifdefine _UNICODE
....
#define __T(x)      L ## x
....
typedef wchar_t WCHAR;    // wc,   16-bit UNICODE character
....
typedef WCHAR TCHAR, *PTCHAR;
....
#endif#ifdefine _MBCS
....
typedef char TCHAR, *PTCHAR;
....
#define __T(x)      x
....

QString 与 字符编码 QTextCodec-CSDN博客 
vs qt 调试 输出 打印 到输出窗口 或控制台窗口_qt输出信息到窗口-CSDN博客

vs2015使用utf-8编码的源文件时，必须要使用utf-8 with BOM，否则会出现编译错误。

//windows下的测试代码：
#include <iostream>
#include <stdio.h>
#include <Windows.h>
using namespace std;std::string wideCharToUtf8(std::wstring s_unicode)
{
#ifdef WIN32std::string dest;int len = WideCharToMultiByte(CP_UTF8 //传入数据的编码方案  https://docs.microsoft.com/zh-cn/windows/desktop/api/stringapiset/nf-stringapiset-multibytetowidechar, 0, s_unicode.c_str(), -1, NULL, 0, NULL, NULL);if (len <= 0){return dest;}char* pbuffer = (char*)malloc(sizeof(char) * len);memset(pbuffer, 0, sizeof(char) * len);WideCharToMultiByte(CP_UTF8, 0, s_unicode.c_str(), s_unicode.size(), pbuffer, len, NULL, NULL);dest = pbuffer;free(pbuffer);return dest;
#endif
}void SetFont(int size = 90) {//hello imX2GCONSOLE_FONT_INFOEX cfi; //hello imX2Gcfi.cbSize = sizeof cfi; //hello imX2Gcfi.nFont = 0; //hello imX2Gcfi.dwFontSize.X = 24; //hello imX2Gcfi.dwFontSize.Y = 24;  //设置字体大小cfi.FontFamily = FF_DONTCARE; //hello imX2Gcfi.FontWeight = FW_NORMAL; //字体粗细 FW_BOLDwcscpy_s(cfi.FaceName, L"新宋体");  //设置字体，必须是控制台已有的 //ArialSetCurrentConsoleFontEx(GetStdHandle(STD_OUTPUT_HANDLE), FALSE, &cfi); //hello imX2GHANDLE handle = GetStdHandle(STD_OUTPUT_HANDLE); //hello imX2GCONSOLE_FONT_INFO consoleCurrentFont; //hello imX2GGetCurrentConsoleFont(handle, FALSE, &consoleCurrentFont); //hello imX2G
}//hello imX2Gint main()
{wchar_t ptr1[8] = L"A你哦𬌗";char ptr2[16] = "A你哦𬌗";char ptr3[16] = u8"A你哦𬌗";int p1[4] = {};int p2[4] = {};int p3[4] = {};memcpy(&p1, ptr1, 16);memcpy(&p2, ptr2, 16);memcpy(&p3, ptr3, 16);//char* p = setlocale(LC_ALL, "Unicode");//printf("%s\n", p);	string str = wideCharToUtf8(ptr1);int p4[4] = {};memcpy(&p4, str.c_str(), str.size());//wprintf(L"%s\n", ptr1);system("chcp 65001");cout << ptr2 << endl;SetFont();//SetCurrentConsoleFontEx()//printf("%s\n", str.c_str());//printf("%s\n", ptr3);return 0;
}

如何让C语言编译器在处理字符的时候使用Unicode编码？ - 知乎

libiconv - GNU Project - Free Software Foundation (FSF)

 unicode ucs2 utf16 utf8 ansi GBK GB2312 互转 及 渲染_ucs2编码转换-CSDN博客 

QString 与 字符编码 QTextCodec-CSDN博客

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/274407.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

rocketmq源码分析（一）broker启动remoting抽象

rocketmq源码分析（一）broker启动remoting抽象

1. netty基础 2. broker启动 rocketmq-broker.puml startuml BrokerStartup -> BrokerStartup: createBrokerController BrokerStartup -> BrokerController : controller.initialize() 初始化BrokerController,new 出各种 NettyRemotingServer BrokerController ->…
阅读更多...
使用Tokeniser估算GPT和LLM服务的查询成本

使用Tokeniser估算GPT和LLM服务的查询成本

将LLM集成到项目所花费的成本主要是我们通过API获取LLM返回结果的成本&#xff0c;而这些成本通常是根据处理的令牌数量计算的。我们如何预估我们的令牌数量呢&#xff1f;Tokeniser包可以有效地计算文本输入中的令牌来估算这些成本。本文将介绍如何使用Tokeniser有效地预测和管…
阅读更多...
人工智能|机器学习——Canopy聚类算法（密度聚类）

人工智能|机器学习——Canopy聚类算法（密度聚类）

1.简介 Canopy聚类算法是一个将对象分组到类的简单、快速、精确地方法。每个对象用多维特征空间里的一个点来表示。这个算法使用一个快速近似距离度量和两个距离阈值T1 > T2 处理。 Canopy聚类很少单独使用&#xff0c; 一般是作为k-means前不知道要指定k为何值的时候&#…
阅读更多...
vue 下载的插件从哪里上传？npm发布插件详细记录

vue 下载的插件从哪里上传？npm发布插件详细记录

文章参考&#xff1a; 参考文章一&#xff1a; 封装vue插件并发布到npm详细步骤_vue-cli 封装插件-CSDN博客 参考文章二&#xff1a; npm发布vue插件步骤、组件、package、adduser、publish、getElementsByClassName、important、export、default、target、dest_export default…
阅读更多...
linux ,Windows部署

linux ,Windows部署

Linux部署 准备好虚拟机 连接好查看版本&#xff1a;java -version安装jdk 解压命令&#xff1a;tar -zxvf 加jdk的压缩文件名cd /etc 在编辑vim profile文件 在最底下写入&#xff1a; export JAVA_HOME/root/soft/jdk1.8.0_151&#xff08;跟自己的jdk保持一致&#xff0…
阅读更多...
初窥机器学习

初窥机器学习

人工智能 近几年来&#xff0c;人工智能&#xff08;AI&#xff09;已成为家喻户晓的术语&#xff0c;我们在游戏、电影&#xff08;还记得J.A.R.V.I.S吗&#xff1f;&#xff09;和书籍中经常看到它的提及和描绘&#xff0c;但人工智能究竟是什么呢&#xff1f; 人工智能简单…
阅读更多...
go语言添加代理

go语言添加代理

LiteIDE 工具->管理 https://mirrors.aliyun.com/goproxy/或https://goproxy.cn,direct 命令行 go env -w GOPROXYhttps://goproxy.cn,direct
阅读更多...
前端页面访问后台hiveserver2，阶段性报错

前端页面访问后台hiveserver2，阶段性报错

1、运行环境 Windows11下安装VMware&#xff0c;VMware下安装CentOS7 Linux系统&#xff0c;三台虚拟机集群部署hadoop&#xff0c;安装hive&#xff1b; 在Linux下安装Eclipse&#xff0c;创建maven工程&#xff0c;使用hive-jdbc-2.3.2访问hiveserver2 2、在windows11下&…
阅读更多...
​如何防止网络攻击？

​如何防止网络攻击？

应对不同类型网络攻击的最佳途径是“知己”、“知彼”&#xff0c;在了解它们的工作原理、能够识别其手段、方法及意图的前提下&#xff0c;找出针对性的应对文案。今天&#xff0c;就为大家总结以下防止不同类型网络攻击的有效方法&#xff0c;希望无论是对个人、还是企业和组…
阅读更多...
字节跳动也启动春季校园招聘了（含二面算法原题）

字节跳动也启动春季校园招聘了（含二面算法原题）

字节跳动 - 春招启动 随着各个大厂陆续打响春招的响头炮&#xff0c;字节跳动也官宣了春季校园招聘的正式开始。 还是那句话&#xff1a;连互联网大厂启动校招计划尚且争先恐后&#xff0c;你还有什么理由不马上行动&#xff1f;&#xff01; 先来扫一眼「春招流程」和「面向群…
阅读更多...
RabbitMQ - 07 - 通过注解创建队列和交换机

RabbitMQ - 07 - 通过注解创建队列和交换机

之前消息模型的实现,都是通过rabbitMQ Management 控制台来手动创建 queue 和 exchange 的 在项目开发中有两种方式通过代码声明 创建 一种是通过 Bean 方式,这种代码量较大 稍繁琐 一种是通过注解的方式声明 先编写消费者代码 通过注解绑定了 消息队列,交换机,还有 routin…
阅读更多...
​LeetCode解法汇总1261. 在受污染的二叉树中查找元素

​LeetCode解法汇总1261. 在受污染的二叉树中查找元素

目录链接&#xff1a; 力扣编程题-解法汇总_分享记录-CSDN博客 GitHub同步刷题项目&#xff1a; https://github.com/September26/java-algorithms 原题链接&#xff1a;. - 力扣&#xff08;LeetCode&#xff09; 描述&#xff1a; 给出一个满足下述规则的二叉树&#xff1…
阅读更多...
小程序学习 1

小程序学习 1

pages/goods/search/home.wxml首页功能设定 1. loading入场 2. 下拉刷新 3. 搜索栏 4. 分类切换 5. 商品列表 6. 规格弹层 7. 加载更多 <view style"text-align: center; color: #b9b9b9" wx:if"{{pageLoading}}"><t-loading theme"circula…
阅读更多...
每日一题——LeetCode2129.将标题首字母大写

每日一题——LeetCode2129.将标题首字母大写

方法一 个人方法 将字符串转为数组&#xff0c;遍历数组&#xff0c;对数组的每一个元素&#xff0c;先全部转为小写&#xff0c;如果当前元素长度大于2&#xff0c;将第一个字符转为大写形式 var capitalizeTitle function(title) {titletitle.split( )for(let i0;i<tit…
阅读更多...
同学，请实现一个扫码登录

同学，请实现一个扫码登录

大概的流程图如下 主要涉及到的是pc端、手机端和后台服务端。由于听产品同事说手机端由原生端&#xff08;安卓和IOS&#xff09;来实现&#xff0c;因此我这边只需要开发pc端就行&#xff0c;工作量直接减半有没有。做过该功能的小伙伴肯定了解&#xff0c;pc端的实现还是比较…
阅读更多...
python淘宝网页爬虫数据保存到 csv和mysql(selenium)

python淘宝网页爬虫数据保存到 csv和mysql(selenium)

数据库连接设置&#xff08;表和字段要提前在数据库中建好&#xff09; # 数据库中要插入的表 MYSQL_TABLE goods# MySQL 数据库连接配置,根据自己的本地数据库修改 db_config {host: localhost,port: 3306,user: root,password: ma*****6,database: may2024,charset: utf8mb…
阅读更多...
一体机电脑辐射超标整改

一体机电脑辐射超标整改

电脑一体机是目前台式机和笔记本电脑之间的一个新型的市场产物&#xff0c;它将主机部分、显示器部分整合到一起的新形态电脑&#xff0c;该产品的创新在于内部元件的高度集成。随着无线技术的发展&#xff0c;电脑一体机的键盘、鼠标与显示器可实现无线链接&#xff0c;机器只…
阅读更多...
云打印下载，云打印怎么使用？

云打印下载，云打印怎么使用？

互联网的发展让许多实体业务都受到了强烈的冲击&#xff0c;这其中打印业务也是其中之一。在当前云打印技术的推广下&#xff0c;现在有越来越多有打印需求的用户都开始选择性价比更高、打印更方便的云打印服务了。那么云打印下载&#xff0c;云打印怎么使用&#xff1f;今天小…
阅读更多...
AIGC——ComfyUI 安装与基础使用

AIGC——ComfyUI 安装与基础使用

简介 ComfyUI是一个基于节点流程的稳定扩散操作界面&#xff0c;通过流程实现了更加精准的工作流定制和完善的可复现性。每个模块都有特定的功能&#xff0c;我们可以通过调整模块连接来实现不同的出图效果。然而&#xff0c;节点式的工作流也提高了一定的使用门槛。同时&…
阅读更多...
leetcode代码记录（有序数组两数之和

leetcode代码记录（有序数组两数之和

目录 1. 题目&#xff1a;2. 我的代码&#xff1a;小结&#xff1a; 1. 题目&#xff1a; 给定一个已按照 升序排列 的整数数组 numbers &#xff0c;请你从数组中找出两个数满足相加之和等于目标数 target 。 函数应该以长度为 2 的整数数组的形式返回这两个数的下标值。numb…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发