文字识别是一项“历久弥新”的技术。早在上世纪初，工程师们就开始尝试使用当时有限的硬件设备扫描并识别微缩胶片、纸张上的字符。随着时代和技术的发展，人们在日常生活中使用的电子设备不断更新换代，文字识别的需求成为一项必备的技术基础：不论是工厂序列号检测，还是手机拍照翻译，都离不开准确高效的识别技术。

在文档智能应用领域，文字识别同样是不可或缺的一环，它能够将系统的覆盖范围从纯电子文档扩展到扫描、拍照、甚至手写领域，极大提升实用范围与性能。

本文将介绍文字识别技术方案，解析商业化产品的算法逻辑。

光学字符识别技术溯源

理解文字识别，首先需要明确OCR的概念。

光学字符识别（Optical Character Recognition, OCR） 是一种将图像中的文字（如印刷体、手写体）转换为机器可编辑文本的技术。其核心目标是通过算法模拟人类视觉对文字的理解，实现从非结构化图像到结构化文本的转化，以供后续分析和组织使用。

OCR技术的发展历史悠久，其概念最早由奥地利工程师 Gustav Tauschek在1929年提出。20世纪50年代至60年代期间，OCR的研究主要集中在手写文档的识别上，如支票处理和邮件分拣。这一时期的系统依赖于预处理技术和基于规则或模板匹配的方法。例如，早期版本的ABBYY OCR利用图像二值化、降噪和布局分析等技术，通过模板匹配实现字符识别。

在深度学习出现之前，OCR系统主要依靠特征工程和传统机器学习技术进行字符识别，这些方法广泛应用于邮政编码识别、表单处理和银行业务等领域。典型案例如HP Labs于1984年开发的Tesseract OCR，与日本东芝公司研制的信函自动分拣系统，第一个实现手写体邮政编码识别。

随着OCR技术在各个行业的应用，包括逐渐扩展到车牌识别、身份证识别等领域，对更高精度和更广泛应用的需求日益增加。研究人员开始探索更先进的方案，如场景文本识别、多语言识别和文档字符识别。自2010年以来，端到端深度学习算法的发展显著改变了OCR领域，能够实现高精度实时识别，移动端应用爆发。

OCR涉及两个主要任务：文本检测和文本识别。第一步是在图像中定位文本的位置，第二步则是应用识别算法将识别出的文本转换为计算机可读的字符。

文本检测

文本检测是OCR的核心环节之一，目的是从图像中定位文字区域。传统方法依赖手工设计特征（如边缘检测），但难以应对复杂场景。基于分割的深度学习方法通过像素级预测，成为解决弯曲文本、密集排列等难题的主流方案。

将文本检测作为图像分割问题来处理，即通过像素分类来识别文本区域，可以参考以下技术流程：

1. 特征提取：骨干网络提取图像多尺度特征。

2. 像素级预测：分割网络输出概率图，标记每个像素是否属于文本区域。

3. 后处理：通过二值化、连通域分析等步骤，将概率图转换为文本边界框或多边形。

与传统回归方法直接预测边界框不同，分割方法更擅长处理不规则文本（如弯曲、旋转文字），且对背景干扰更具鲁棒性。

早期的方法使用全卷积网络（FCNs）进行文本行检测，而后续算法如PAN[1]和CRAFT[2]则进一步提升了效率和精度，并通过字符级检测增强了对复杂文本布局的适应性。

使用CRAFT进行字符级检测

实例分割方法将每个文本块视为独立的实例，有效应对了紧密相邻文本块的挑战[3]。SPCNET[4]和LSAE[5]等技术在此基础上进行了改进，前者采用金字塔注意力模块增强特征提取能力，后者利用双分支架构优化检测效果，在处理复杂背景和重叠文本方面表现出色。

后处理步骤在基于分割的方法中尤为重要，例如二值化操作可以显著提升最终检测结果的质量。可微二值化（DB）通过在网络中集成二值化过程，提高了检测和检测精度，有效地结合了前处理与后处理的优势，使得整体文本检测流程更加高效和精确[6]。

文本识别

基于CTC损失的方法

在OCR文本识别任务中，模型需要将图像中的文字序列（如“ABC123”）准确转换为字符标签。传统方法依赖字符分割与单独识别，但面临间距不均、粘连字符等难题。CTC（Connectionist Temporal Classification）损失函数的提出，实现了端到端的序列学习，成为不定长文本识别的主流解决方案。

CTC通过动态对齐解决输入（图像特征序列）与输出（目标字符序列）的长度差异问题，它计算所有可能对齐路径的概率，特别适合处理可变长度的文本，其核心机制包含三部分：

1. 特征编码：使用CNN+BiLSTM网络提取图像特征，生成时序特征向量（如100个时间步）。

2. 路径扩展：允许模型在每个时间步预测字符或空白符（blank），如“-A--B-C”与“AA-BC”均可映射为“ABC”。

3. 概率聚合：通过前向-后向算法合并所有有效路径的概率，计算负对数损失指导训练。

以输入5个时间步识别“cat”为例，CTC自动对齐“cc-a-t”“c-aat”等路径，无需人工标注字符位置信息。

在基于CTC的识别方法中，CRNN模型是一个显著的应用实例，它结合了卷积神经网络（CNN）、循环神经网络（RNN）和CTC损失进行序列生成，这种组合有效提升了文本识别的灵活性和准确性[7]。Deep TextSpotter进一步改进了这一方法，它结合了CNN特征提取和CTC损失，提高了文本检测和识别的精度[8]。

然而，尽管CTC在许多场景下表现出色，但在处理长文本、上下文细微差别和垂直文本时，可能导致计算复杂性的增加，影响模型效率和准确率。因此在实际应用中，需要根据具体需求选择合适的模型架构和技术手段，以平衡识别精度和计算效率。

基于序列到序列的方法

序列到序列（seq2seq）技术使用编码器-解码器架构来编码输入序列并生成相应的输出，通过注意力机制管理长距离依赖关系，实现端到端映射，是解决复杂文本识别任务的重要技术路线之一。传统方法通常使用RNN和CNN将图像特征转换为一维序列，再由基于注意力的解码器进行处理。但是，在处理任意方向和不规则文本时，将图像转换为一维序列以适应基于Transformer的架构仍存在挑战。

为了解决这些问题，模型采用了多种策略，如输入校正和二维特征图。例如，空间Transformer网络（STN）能够将文本图像校正为矩形、水平对齐的字符，这在ASTER[9]、ESIR[10]等模型中得到了应用。其他模型则直接从二维空间中提取字符，避免了对输入图像的修改，以适应不规则和多方向文本，如SAR[11]、AON[12]和SATRN[13]。

随着Transformer架构的普及，传统的CNN和RNN模型逐渐被基于注意力的编码器-解码器系统所取代。性能改进主要集中在更好地处理二维几何位置信息，来应对不规则或长文本序列。当前，OCR研究在利用Transformer架构提高复杂图像文本处理性能方面不断进步[14]，随着多模态融合方向的发展和扩散模型在序列生成中的应用，技术边界将持续拓展。

欢迎后台私信添加小助手微信，免费在线体验文字识别模型，来交流群与我们共同探讨技术发展与AI应用的可能性。

参考文献

[1] Wenhai Wang, Enze Xie, Xiaoge Song, Yuhang Zang, Wenjia Wang, Tong Lu, Gang Yu, and Chunhua Shen. Efficient and accurate arbitrary-shaped text detection with pixel aggregation network. In Proceedings of the IEEE/CVF international conference on computer vision, pages 8440–8449, 2019.

[2] Youngmin Baek, Bado Lee, Dongyoon Han, Sangdoo Yun, and Hwalsuk Lee. Character region awareness for text detection. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9365–9374, 2019.

[3] Dan Deng, Haifeng Liu, Xuelong Li, and Deng Cai. Pixellink: Detecting scene text via instance segmentation. In Proceedings of the AAAI conference on artificial intelligence, volume 32, 2018.

[4] Enze Xie, Yuhang Zang, Shuai Shao, Gang Yu, Cong Yao, and Guangyao Li. Scene text detection with supervised pyramid context network. In Proceedings of the AAAI conference on artificial intelligence, volume 33, pages 9038–9045, 2019.

[5] Zhuotao Tian, Michelle Shu, Pengyuan Lyu, Ruiyu Li, Chao Zhou, Xiaoyong Shen, and Jiaya Jia. Learning shape-aware embedding for scene text detection. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 4234–4243, 2019.

[6] Jiachen Li, Yuan Lin, Rongrong Liu, Chiu Man Ho, and Humphrey Shi. Rsca: Real-time segmentation-based context-aware scene text detection. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 2349–2358, 2021.

[7] Baoguang Shi, Xiang Bai, and Cong Yao. An end-to-end trainable neural network for image-based sequence recognition and its application to scene text recognition. IEEE transactions on pattern analysis and machine intelligence, 39(11):2298–2304, 2016.

[8] Michal Busta, Lukas Neumann, and Jiri Matas. Deep textspotter: An end-to-end trainable scene text localization and recognition framework. In Proceedings of the IEEE international conference on computer vision, pages 2204–2212, 2017.

[9] Fangneng Zhan and Shijian Lu. Esir: End-to-end scene text recognition via iterative rectification. Cornell University Library, pages 1–8, 2018.

[10] Canjie Luo, Lianwen Jin, and Zenghui Sun. Moran: A multi-object rectified attention network for scene text recognition. Pattern Recognition, 90:109–118, 2019.

[11] Hui Li, Peng Wang, Chunhua Shen, and Guyu Zhang. Show, attend and read: A simple and strong baseline for irregular text recognition. In Proceedings of the AAAI conference on artificial intelligence, volume 33, pages 8610–8617, 2019.

[12] Zhanzhan Cheng, Yangliu Xu, Fan Bai, Yi Niu, Shiliang Pu, and Shuigeng Zhou. Aon: Towards arbitrarily-oriented text recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 5571–5579, 2018.

[13] Junyeop Lee, Sungrae Park, Jeonghun Baek, Seong Joon Oh, Seonghyeon Kim, and Hwalsuk Lee. On recognizing texts of arbitrary shapes with 2d self-attention. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, pages 546–547, 2020.

[14] Jingye Chen, Bin Li, and Xiangyang Xue. Scene text telescope: Text-focused scene image super-resolution. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12026–12035, 2021.