【YashanDB知识库】GBK库,生僻字插入nvarchar2字段后乱码问题

本文内容来自YashanDB官网,具体内容可见(https://www.yashandb.com/newsinfo/7488287.html?templateId=1718516)

问题现象

如下SQL,插入的人名中有两个GBK生僻字“
”和“
”,GBK编码中没有这两个字符。

插入后,客户端utf8编码,显示为乱码。用gbk和

image2024-8-8_18-58-18

问题的风险及影响

客户端和服务端编码不同,服务端是gbk时,gbk生僻字,插入不正常。

问题影响的版本

23.2.4.14及之前版本

问题发生原因

gbk生僻字,客户端转换数据为gbk编码时,生僻字转换失败,发送给服务端存储的数据缺失,导致显示问题。

解决方法及规避方式

1、终端是utf8,这样可以输入生僻字。yasql用gbk编码,同服务端编码一样,就不会转码。用insert语句发送,之后同样的编码能正常查询显示出数据。

2、使用yasdb client库接口,yacBindParameter接口提供了utf16编码插入数据方式。如下图所示,只要不是gbk编码就能正常显示生僻字:

问题分析和处理过程

分析过程:

客户端是utf8,服务端是gbk编码的情况。

1、服务端收到客户端的数据,如下图

C1D9 GBK(临) 193 217

BAA3 GBK(海) 186 163

3F 生僻字
丢失 为63

2、insert时,yasdb中数据的字符,如下图:

4E34 utf16(临)78 52

6D77 utf16( 海)109 119

3F

3、客户终端与客户端编码不同时,存储的数据是否有问题呢?如客户终端编码为utf8,yasql为gbk、yasdb为gbk。

nvarchar2类型, 服务端中会再做转换,这里就出现了这个问题。utf8的终端,gbk的yasql,gbk的服务器情况下,插入汉字后, 数据是utf8编码,但是当成gbk编码转换成utf16,导致存储的数据不对。

如下例:

yasdb接收的数据:

yasql客户端同服务端编码相同,则不做转换,直接发送输入数据到服务端。所以下图显示的是utf8编码的’艳梅’数据

yasdb存储的数据:

下图显示,yasdb存放的就是上面的编码。0x79(121) 0x94(148) 0x46(107) 0xB8(134)

所以当终端是utf8时,yasql和yasdb是gbk时,存储在nvarchar2字段上的数据其实是错误的。所以如果数据要正确存储,yasql插入时,终端和yasql的编码必须相同。

结论:

所以在用yasql插入数据时,要保证终端与yasql的编码相同,否则数据可能存储的有问题。

经验总结

yasql编码转换过程:

1、yasql insert插入时,数据编码转换过程

输入的数据 (客户终端编码) →(转换)数据为 服务端编码(gbk)(如果yasql客户端同服务端编码相同,则不做转换,直接发送输入数据到服务端。) → 发送数据到服务端

服务端接收到数据后:nvarchar2类型,在服务端转换为utf16le编码。

2、yasql select查询时,数据编码转换过程

服务端(GBK) ->(发送数据) 客户端(UTF8) → (转换数据编码gbk->utf8)yasql客户端编码 → 终端同yasql客户端编码一致才能正常显示出来。

如果客户端是gbk,nvarchar2类型的编码转换:UTF16 → gbk

相关问题单

1、服务端gbk,nvarchar2插入gbk不识别的生僻字,插入后乱码问题

22.2.12.100 GBK库nvarchar列无法存放中文生僻字

2、服务端gbk,客户端utf8,exp导出报错转换失败,YAS-00218 string conversion failed

数据库使用GBK字符集,exp导出成csv报错

exp导出时,如上图,“世纪春城”前面两个空白字符不是空格,而是gbk的空白字,utf8编码没有这种空白字符,导致转换失败。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/436058.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

华为源NAT技术与目的NAT技术

1)源NAT对报文源地址进行转换,分为NAT NO-PAT,NAPT,EASY-IP,三元组NAT; (1)NAT NO-PAT原理: no-port address translation:非端口地址转换:只转换地址,不转换端口&…

短视频剪辑工具有哪些?推荐4个简单好用的工具

短视频如今充斥着我们的生活,刷短视频已经成了很多人的生活必备。所以掌握短视频剪辑技能是一件很重要的事情,能够为视频创作者带来很多的流量。如果想要学习剪辑的话,可以先从选择一款合适的剪辑工具开始,这几款功能丰富的软件&a…

心理咨询预约管理系统(含源码+sql+视频导入教程)

👉文末查看项目功能视频演示获取源码sql脚本视频导入教程视频 1 、功能描述 心理咨询预约管理系统2拥有三个角色: 管理员端 首页 系统近况(咨询师和注册来访者数量,预约数量) 显示最新的消息、留言和公告&#xff0…

AI驱动TDSQL-C Serverless 数据库技术实战营-与AI的碰撞

目录 一、简介 二、实验介绍 三、结果展示 四、实操指导 4.1 系统设计 4.2 环境搭建(手把手教程) 4.3 应用构建 4.4 效果展示 4.5 踩坑避雷总结 五、清理资源 5.1 删除TDSQL-C Serverless 5.2 删除 HAI 算力 六、实验总结归纳 一、简介 本…

大模型增量训练--基于transformer制作一个大模型聊天机器人

针对夸夸闲聊数据集,利用UniLM模型进行模型训练及测试,更深入地了解预训练语言模型的使用方法,完成一个生成式闲聊机器人任务。 项目主要结构如下: data 存放数据的文件夹 dirty_word.txt 敏感词数据douban_kuakua_qa.txt 原始语…

k8s上安装prometheus

一、下载对应的kube-prometheus源码 github地址:https://github.com/prometheus-operator/kube-prometheus 根据自己的Kubernetes版本下载对应的Kube-prometheus源码。 kubectl version 我的kubernetes的版本为v1.30.3固下载master分支的源码 1)进入…

INTO:Web3世界的“价值引力场”

在Web3的宇宙中,一股强大的引力正在重塑整个数字世界的格局。这股引力,来自一个名为INTO的“超级连接器”。作为Web3社交领域的先锋,INTO正在用一种前所未有的方式重构整个产业链的价值体系。它不再满足于单一领域的创新,而是大胆…

[Uninstall] 软件彻底卸载工具的下载及详细安装使用过程(附有下载文件)

一般软件安装的有问题,或者想重新安装其他版本就需要将原来的版本删除干净,但常常删不干净,本文分享一个软件彻底卸载工具,完成彻底卸载软件的工作 下载链接在文末 下载压缩包后解压 !!安装路径不要有中文…

WebAssembly 为什么能提升性能,怎么使用它 ?

文章目录 简介:起源:前端性能提升历史JIT(Just-In-Time)编译器(即时编译) 为什么需要WebAssembly:WebAssembly能做什么:经常说WASM的性能高,为什么高??使用方法:Emscript…

【unity进阶知识3】封装一个事件管理系统

前言 框架的事件系统主要负责高效的方法调用与数据传递,实现各功能之间的解耦,通常在调用某个实例的方法时,必须先获得这个实例的引用或者新实例化一个对象,低耦合度的框架结构希望程序本身不去关注被调用的方法所依托的实例对象…

ST-GCN模型实现花样滑冰动作分类

加入深度实战社区:www.zzgcz.com,免费学习所有深度学习实战项目。 1. 项目简介 本项目实现了A042-ST-GCN模型,用于对花样滑冰动作进行分类。花样滑冰作为一项融合了舞蹈与竞技的运动,其复杂的动作结构和多变的运动轨迹使得动作识别成为一个具…

Android入门

下载Android studio,创建第一个项目 模板可以选择empty views Activity 在这个界面可以修改,使用语言,项目名字,存储路径以及适用版本 完成后,得到一个最初始的Android 项目,红色标记的两个文件&#xf…

利用Puppeteer-Har记录与分析网页抓取中的性能数据

引言 在现代网页抓取中,性能数据的记录与分析是优化抓取效率和质量的重要环节。本文将介绍如何利用Puppeteer-Har工具记录与分析网页抓取中的性能数据,并通过实例展示如何实现这一过程。 Puppeteer-Har简介 Puppeteer是一个Node.js库,提供…

Xcode报错:The request was denied by service delegate (SBMainWorkspace)

Xcode报错:The request was denied by service delegate (SBMainWorkspace) 造成的原因: (1)新的M2芯片的Mac电脑 (2) 此电脑首次安装启动Xcode的应用程序 (3)此电脑未安装Rosetta 解决方法: (1)打开终端…

深度学习之贝叶斯分类器

贝叶斯分类器 1 图解极大似然估计 极大似然估计的原理,用一张图片来说明,如下图所示: ​ 例:有两个外形完全相同的箱子,1号箱有99只白球,1只黑球;2号箱有1只白球,99只黑球。在一次…

9_25_对话框

QColorDialog(调色板对话框) void MainWindow::on_pushButton_clicked() { // //创建一个调色板对话框 // QColorDialog* dialog new QColorDialog(this); // //设置调色板对话框的初始值,不调整默认是白色 // dialog->setCurrentColor(…

华大HC32F448的FreeRTOS移植

为什么要移植FreeRTOS? 目前的程序只是前后台查询方式的架构,有些场合更适用FreeRTOS(免费使用)。 下载地址: 下载 FreeRTOS - FreeRTOS™ 相关知识入门: FreeRTOS™ - FreeRTOS™ (网址) FreeRTOSv9.0.0文件夹…

SysML图例-悬架作动器(Suspension Aactuator)

DDD领域驱动设计批评文集>> 《软件方法》强化自测题集>> 《软件方法》各章合集>>

Java 如何从图片上提取文字

生活中我们可能会遇到想从图片上直接复制上边的文字&#xff0c;该如何获取呢&#xff0c;接下来看看如何使用Java程序实现从图片中读取文字。 实现过程 1、引入Tess4J 依赖 <!--Tess4J 依赖--> <dependency><groupId>net.sourceforge.tess4j</groupId…

Java基础——十二、容器

十二、容器 在Java中&#xff0c;容器(也称为集合)是处理数据集合的核心组件。深入理解Java容器对于处理大规模数据、提高代码效率和编写高性能程序至关重要。Java中提供了许多容器类&#xff0c;这些类位于java.util包中&#xff0c;分为两类&#xff1a;Collection和Map。 …