在测试工作中,需求文档中的图片(如界面设计图、流程图)往往是测试用例生成的重要参考。然而,手动提取图片并识别内容不仅耗时,还容易出错。本文将通过一个自研小工具,结合 PaddleOCR 和大模型,自动从需求文档的指定标题下提取图片,识别图片中的文字,并生成功能测试用例。这一流程能帮助测试工程师大幅提高效率,同时确保用例生成的精准性。支持同时指定文本标题及图片标题。感兴趣的同学点击下面小卡片获取源码相对于前面的版本:
- 优化了一些报错导致闪退的情形
- 增加了图片标题输入框
- 布局调整
- 增加了行业下拉选择框
一、整体解决方案
我们将完成以下功能:
- 从 Word 文档中提取图片:通过
python-docx
提取指定标题下的图片。 - 图片文字识别:使用
PaddleOCR
对图片中的文字内容进行识别。 - 用例生成:将识别到的文字内容传递给大模型(如 OpenAI GPT),自动生成功能测试用例。
整个工具的实现框架如下:
+-------------------------------------------+
| 需求文档加载 |
| 读取 Word 文档 (docx) |
+-------------------------------------------+↓
+-------------------------------------------+
| 图片提取 |
| 识别指定标题下的图片 |
+-------------------------------------------+↓
+-------------------------------------------+
| 图片文字识别 |
| 使用 PaddleOCR 识别图片中的文字 |
+-------------------------------------------+↓
+-------------------------------------------+
| 用例生成 |
| 将识别文字传递给大模型生成测试用例 |
+-------------------------------------------+↓
+-------------------------------------------+
| 输出测试用例 |
| 将生成的测试用例保存为文档 |
+-------------------------------------------+
二、工具实现步骤
1. 环境准备
安装以下必要的 Python 库:
pip install python-docx paddleocr paddlepaddle openai
python-docx
:用于读取 Word 文档。paddleocr
和paddlepaddle
:用于图片文字识别。openai
:与大模型交互生成测试用例。
2. 提取 Word 文档中指定标题下的图片
在需求文档中,图片通常位于某些特定的标题下(如“登录界面设计”)。我们使用 python-docx
遍历文档内容并提取这些图片。
代码示例:
# 提取指定标题下的图片def extract_text_by_title(self, docx_path, title_keywords, table_keywords, pic_keywords):"""提取多个标题下的正文内容:param pic_keywords: 图片路径:param table_keywords: 表格路径:param docx_path: docx 文件路径:param title_keywords: 标题关键词列表:return: 提取的正文内容(按标题分组)"""doc = Document(docx_path)result = {}doc = self.remove_toc(doc) # 先清理一波目录for title_keyword in title_keywords.split(','):content = []capture = Falsefor paragraph in doc.paragraphs:text = paragraph.text.strip()if text:# 判断是否是标题if title_keyword in text and 'toc' not in paragraph.style.name.lower():capture = Truecontent.append(text)continue# 停止捕获正文内容if capture and re.match(r"^\d+(\.\d+)*\s+.+", text): # 新标题breakelif "标题" in paragraph.style.name and capture: # 遇到下一个标题则停止获取break# 捕获正文内容if capture and text:content.append(text)result[title_keyword] = "\n".join(content)for pic_keyword in pic_keywords.split(','):image_paths = self.get_target_pic(docx_path, pic_keyword)print(image_paths)if not image_paths:print("未找到目标标题下的图片")else:print(f"提取到 {len(image_paths)} 张图片:{image_paths}")# OCR 识别print("\n正在进行 OCR 识别...")ocr_results = self.perform_ocr_with_paddle(image_paths)# 输出结果ocr_results_text = ''for image_path, text in ocr_results:# print(f"\n图片路径:{image_path}")# print(f"识别内容:\n{text}")ocr_results_text += text + '--'result['识别内容'] = ocr_results_textreturn result
示例:提取“业务流程”标题下的图片
3. 使用 PaddleOCR 进行图片文字识别
使用 PaddleOCR 对提取的图片进行文字识别,并输出识别结果。
代码示例:
def perform_ocr_with_paddle(self, images):"""使用 PaddleOCR 对图片进行文字识别。"""results = []# 初始化 PaddleOCRocr = PaddleOCR(use_angle_cls=True, lang="ch") # 支持方向分类和中英文混合识别for image_path in images:try:img = cv2.imread(image_path)ocr_result = ocr.ocr(img, cls=True)text_lines = [line[1][0] for line in ocr_result[0]]results.append((image_path, "\n".join(text_lines)))except Exception as e:results.append((image_path, f"OCR 识别失败: {e}"))return results
识别结果如图:
4. 交互大模型生成测试用例
将识别到的文字内容传递给大模型(如 OpenAI GPT),并生成功能测试用例。
代码示例:
def generate_cases(self, content_param, prompt_param, job_area):# 初始化OpenAI客户端client = OpenAI(# 如果没有配置环境变量,请用百炼API Key替换:api_key="sk-xxx"api_key='sk-xxx', # todo 此处需更换base_url="https://dashscope.aliyuncs.com/compatible-mode/v1")reasoning_content = "" # 定义完整思考过程answer_content = "" # 定义完整回复is_answering = False # 判断是否结束思考过程并开始回复# 创建聊天完成请求completion = client.chat.completions.create(model="deepseek-r1", # 此处以 deepseek-r1 为例,可按需更换模型名称messages=[{'role': 'user', 'content': f'所在行业: {job_area if job_area else None};文档内容: {content_param}, 提示词:{prompt_param}'}],stream=True,# 解除以下注释会在最后一个chunk返回Token使用量# stream_options={# "include_usage": True# })print("\n" + "=" * 20 + "思考过程" + "=" * 20 + "\n")for chunk in completion:# 如果chunk.choices为空,则打印usageif not chunk.choices:print("\nUsage:")print(chunk.usage)else:delta = chunk.choices[0].delta# 打印思考过程if hasattr(delta, 'reasoning_content') and delta.reasoning_content != None:print(delta.reasoning_content, end='', flush=True)reasoning_content += delta.reasoning_contentelse:# 开始回复if delta.content != "" and not is_answering:print("\n" + "=" * 20 + "完整回复" + "=" * 20 + "\n")is_answering = True# 打印回复过程print(delta.content, end='', flush=True)answer_content += delta.contentreturn answer_content
5. 输出测试用例到文档
将生成的JSON格式的测试用例保存为 Excel文档,便于后续查看和管理。
代码示例:
def json_to_excel(self, json_data, output_file):"""将任意 JSON 数据中的键作为表头,值作为值,转换为 Excel 表格:param json_data: JSON 数据(字符串或字典):param output_file: 输出的 Excel 文件路径"""# 如果输入是 JSON 字符串,将其解析为字典data_list = Noneif isinstance(json_data, str):json_data = json.loads(json_data)# 找到 JSON 数据中的列表部分(假设是字典中的第一个值)if isinstance(json_data, dict):for key, value in json_data.items():if isinstance(value, list): # 找到第一个值为列表的键data_list = valuebreakelif isinstance(json_data, list):data_list = json_dataelse:raise ValueError("JSON 数据中未找到列表部分!")if data_list:# 将列表部分转换为 DataFramedf = pd.DataFrame(data_list)# 将 DataFrame 导出为 Excel 文件df.to_excel(output_file, index=False)print(f"Excel 文件已成功生成:{output_file}")else:print("Excel 文件生成失败")
三、完整运行流程
- 准备环境:安装所需库,并将需求文档(docx 文件)和 PaddleOCR 模型准备好。
- 提取图片:运行代码提取目标标题下的所有图片。
- 文字识别:使用 PaddleOCR 对图片进行文字识别,提取关键信息。
- 生成测试用例:调用大模型,基于提取的文字内容生成功能测试用例。
- 保存结果:将生成的测试用例保存到 Word 文档中,便于后续使用。
四、工具的实际应用场景
- 自动化用例生成:通过识别需求文档中的图片内容,快速生成对应的测试用例。
- 需求验证:结合图片中的文字内容和生成的测试用例,验证需求文档的完整性和准确性。
- 团队协作:将生成的测试用例文档分发给团队成员,提高工作效率。
五、小结
通过本文的工具实现,测试工程师可以将需求文档中的图片内容自动化处理,结合 PaddleOCR 和大模型生成高质量的功能测试用例。整个流程完全落地可用,适用于日常的测试用例生成需求,帮助测试工程师从重复性工作中解放出来,更专注于高价值的测试分析工作。
快试试这个工具,将测试效率提升到新高度吧!