Cython学习笔记1:利用Cython加速Python运行速度

Cython学习笔记1:利用Cython加速Python运行速度

  • Cython
    • Cython 的核心特点:
    • 利用Cython加速Python运行速度
      • 1. Cython加速Python运行速度原理
      • 2. 不使用Cython
      • 3. 使用Cython加速
        • (1)使用pip安装 cython 和 setuptools 库
        • (2)安装c语言编译器
        • (3)创建要编译为动态链接库的.py文件
        • (4)创建setup.py
        • (5)把.py转化为库文件
        • (6)python程序调用库
        • (7)annotate参数
        • (8)定义变量的类型加速python运行速度

Cython

Cython 是一个用于将 Python 代码转换为 C 语言扩展模块的编程语言。它允许你在 Python 中编写 C 风格的代码,从而提高性能,尤其是在需要大量计算的情况下。通过将 Python 代码与 C 代码混合使用,Cython 既保留了 Python 的简洁性,又能提升程序的执行速度。

Cython 的核心特点:

  1. 提高性能:Cython 可以将 Python 代码编译成 C 语言代码,然后生成高效的 C 扩展模块。它适用于需要频繁计算的任务,尤其是数值计算和循环处理。
  2. 与 C 代码交互:Cython 允许直接调用 C 函数和访问 C 数据结构,从而减少了 Python 和 C 之间的接口调用开销。
  3. 简化 C 接口:与直接使用 C 语言不同,Cython 通过 Python 风格的语法简化了 C 接口的使用,开发者可以快速将 Python 代码提升到 C 代码的性能。
  4. 无缝集成:Cython 代码可以与现有的 Python 代码无缝集成,开发者不需要重写整个程序,通常只需要优化性能瓶颈部分。

利用Cython加速Python运行速度

以计算圆周率 π 为例子,使用Nilakantha 级数来计算 π 值,计算公式如下:
在这里插入图片描述

1. Cython加速Python运行速度原理

在这里插入图片描述
把 python 代码转化为 c 语言代码,然后再编译成动态链接库,最后使用 python 程序调用这个库

2. 不使用Cython

创建 2 个 .py文件,fun.pyNilakantha_main.py

fun.py 用于写计算的函数
Nilakantha_main.py 用于调用函数,查看结果和运行时间
在这里插入图片描述
fun.py代码如下

def calculate_pi(count: int) -> float:pi = 3.0sign = 1for i in range(2, count * 2, 2):term = sign * 4.0 / (i * (i + 1) * (i + 2))pi += termsign *= -1return pi

Nilakantha_main.py代码如下

import time
import fundef main():start_time = time.time()print(fun.calculate_pi(20_000_000))end_time = time.time()print('Time:', end_time - start_time)if __name__ == '__main__':main()

运行Nilakantha_main.py文件后,结果如下:

3.141592653589787
Time: 4.7696967124938965

这段代码设置了迭代次数为2千万次,最后耗时4.76秒
下面使用cython加速

3. 使用Cython加速

(1)使用pip安装 cython 和 setuptools 库

使用如下命令进行安装,使用清华镜像源,这样速度更快

pip install cython setuptools -i https://pypi.tuna.tsinghua.edu.cn/simple

安装好后再安装就会出现下面的结果

在这里插入图片描述

(2)安装c语言编译器

下面的c语言编译器安装一款就可以了,博主是Windows11系统,安装的是Visiual Studio 2022

  1. GCC (GNU Compiler Collection)
  2. Clang
  3. Microsoft Visual C++ (MSVC)
  4. MinGW (Minimalist GNU for Windows)
(3)创建要编译为动态链接库的.py文件

新建一个名为fun_compile.py的文件,用于将它最后编译为动态链接库,让 python 程序调用
fun_compile.py代码如下

# cython: language_level=3
def calculate_pi(count: int) -> float:pi = 3.0sign = 1for i in range(2, count * 2, 2):term = sign * 4.0 / (i * (i + 1) * (i + 2))pi += termsign *= -1return pi

# cython: language_level=3

这一行代码的作用是:指示 Cython 编译器使用 Python 3 语法的指令,告诉 Cython 如何解析和编译 Python 代码,确保代码遵循 Python 3 的语法规则,而不是 Python 2

(4)创建setup.py

setup.py 是 Python 项目中用于打包和分发代码的脚本,它包含了项目的元数据和配置,用于指导 Python 工具(setuptools)如何构建、安装和分发项目。

setup.py中的代码如下

from Cython.Build import cythonize
from setuptools import setupsetup(ext_modules=cythonize(["fun_compile.py"]),
)

fun_compile.py是编译为动态链接库的 python 代码

(5)把.py转化为库文件

当前目录下的文件如下展示

在这里插入图片描述
在此目录下,执行命令

python setup.py build_ext --inplace

过程展示如下

在这里插入图片描述
运行完成后,目录里会多出一个 .c 文件和一个库文件
在这里插入图片描述

(6)python程序调用库

修改Nilakantha_main.py,导入fun_compile如果既存在fun_compile.py,也存在fun_compile.py产生的库,会优先调用动态链接库。代码如下:

import time
import fun
import fun_compiledef main():start_time = time.time()print(fun.calculate_pi(20_000_000))end_time = time.time()print('Time:', end_time - start_time)start_time = time.time()print(fun_compile.calculate_pi(20_000_000))end_time = time.time()print('Time:', end_time - start_time)if __name__ == '__main__':main()

运行结果如下:
在这里插入图片描述
可以看到确实加速了

(7)annotate参数

修改setup.py,加入一个参数annotate=True

from Cython.Build import cythonize
from setuptools import setupsetup(ext_modules=cythonize(["fun_compile.py"], annotate=True),
)

然后执行命令

python setup.py build_ext --inplace

结果会多出来一个.html文件
在这里插入图片描述
annotate=True 参数的作用是:生成 Cython 编译时的注释文件,用于查看 Cython 将 Python 代码转换为 C 代码的详细过程和每一步的性能分析。

通过浏览器打开这个.html文件

在这里插入图片描述
黄色线条的代码表示翻译后的代码依赖 python 代码,颜色越深,依赖越强
点击“+”开头的行,可查看 Cython 为其生成的 c语言 代码

点开红色框的这一行,可以看到这行代码都是用 python实现的
在这里插入图片描述
如果想让这段代码不都用 python 来实现,可以给其中的变量添加类型,这就是这段代码没有用c语言实现的原因,因为cython不知道变量的类型。

(8)定义变量的类型加速python运行速度

修改fun_compile.py文件,代码如下:

# cython: language_level=3
import cythondef calculate_pi(count: int) -> float:pi = 3.0sign = 1for i in range(2, count * 2, 2):term = sign * 4.0 / (i * (i + 1) * (i + 2))pi += termsign *= -1return pidef calculate_pi_annotated(count: int) -> float:pi: cython.double = 3.0sign: cython.int = 1i: cython.intfor i in range(2, count * 2, 2):term: cython.double = sign * 4.0 / (i * (i + 1) * (i + 2))pi += termsign *= -1return pi

重新编译

python setup.py build_ext --inplace

修改Nilakantha_main.py,代码如下:

import time
import fun
import fun_compiledef main():start_time = time.time()print(fun.calculate_pi(20_000_000))end_time = time.time()print('Time:', end_time - start_time)start_time = time.time()print(fun_compile.calculate_pi(20_000_000))end_time = time.time()print('Time:', end_time - start_time)start_time = time.time()print(fun_compile.calculate_pi_annotated(20_000_000))end_time = time.time()print('Time:', end_time - start_time)if __name__ == '__main__':main()

运行后结果如下
在这里插入图片描述
可以看到加入变量类型加入后的代码运行效果更快了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/21319.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

DApp 开发入门指南

DApp 开发入门指南 🔨 1. DApp 基础概念 1.1 什么是 DApp? 去中心化应用(DApp)是基于区块链的应用程序,特点是: 后端运行在区块链网络前端可以是任何框架使用智能合约处理业务逻辑数据存储在区块链上 1…

基于Spring Security 6的OAuth2 系列之二十 - 高级特性--令牌交换(Token Exchange)

之所以想写这一系列,是因为之前工作过程中使用Spring Security OAuth2搭建了网关和授权服务器,但当时基于spring-boot 2.3.x,其默认的Spring Security是5.3.x。之后新项目升级到了spring-boot 3.3.0,结果一看Spring Security也升级…

瑞芯微RV1126部署YOLOv8全流程:环境搭建、pt-onnx-rknn模型转换、C++推理代码、错误解决、优化、交叉编译第三方库

目录 1 环境搭建 2 交叉编译opencv 3 模型训练 4 模型转换 4.1 pt模型转onnx模型 4.2 onnx模型转rknn模型 4.2.1 安装rknn-toolkit 4.2.2 onn转成rknn模型 5 升级npu驱动 6 C++推理源码demo 6.1 原版demo 6.2 增加opencv读取图片的代码 7 交叉编译x264 ffmepg和op…

【开源】编译器,在线操作

目录 1. 思绪思维导图:simple mind map2. Markdown:md-editor-v33. 文档:wangEditor4. 电子表格:Luckysheet5. 幻灯片:PPTist6. 白板:excalidraw7. 流程图:drawio 1. 思绪思维导图:…

跳表(Skip List)详解

一、什么是跳表? 跳表是一种基于有序链表的高效数据结构,通过建立多级索引实现快速查询。它在平均情况下支持O(log n)时间复杂度的搜索、插入和删除操作,性能接近平衡树,但实现更为简单。 二、核心原理 1. 层级结构 底层为完整…

【Quest开发】全身跟踪

软件:Unity 2022.3.51f1c1、vscode、Meta XR All in One SDK V72 硬件:Meta Quest3 最终效果:能像meta的操作室沉浸场景一样根据头盔移动来推断用户姿势,实现走路、蹲下、手势匹配等功能 需要借助UnityMovement这个包 GitHub …

25年2月通信基础知识补充:多普勒频移与多普勒扩展、3GPP TDL信道模型

看文献过程中不断发现有太多不懂的基础知识,故长期更新这类blog不断补充在这过程中学到的知识。由于这些内容与我的研究方向并不一定强相关,故记录不会很深入请见谅。 【通信基础知识补充7】25年2月通信基础知识补充1 一、多普勒频移与多普勒扩展傻傻分不…

栈,优先级队列,map,set

文章目录 栈题目解析代码 优先级队列题解代码 map题解代码 set题解代码 栈 题目解析 1.先把元素push进栈中&#xff0c;如果栈非空并且栈中的元素按顺序和k相等就出栈&#xff0c;直到栈为空或者k ! sk.top() 代码 #include<iostream> #include<stack> #include&l…

Linux探秘坊-------4.进度条小程序

1.缓冲区 #include <stdio.h> int main() {printf("hello bite!");sleep(2);return 0; }执行此代码后&#xff0c;会 先停顿两秒&#xff0c;再打印出hello bite&#xff0c;但是明明打印在sleep前面&#xff0c;为什么会后打印呢&#xff1f; 因为&#xff…

Redis的预备知识

1.Redis的基本全局命令 Redis有多种数据结构&#xff0c;但它们都是键值对的&#xff0c;对于与键来说有一些通用的命令 1.1 KEYS 返回所有满足样式&#xff08;pattern&#xff09;的key 假定当前具有以下value值&#xff1a;hllo&#xff0c;hello&#xff0c;hallo&…

量子计算的威胁,以及企业可以采取的措施

当谷歌、IBM、Honeywell和微软等科技巨头纷纷投身量子计算领域时&#xff0c;一场技术军备竞赛已然拉开帷幕。 量子计算虽能为全球数字经济带来巨大价值&#xff0c;但也有可能对相互关联的系统、设备和数据造成损害。这一潜在影响在全球网络安全领域引起了强烈关注。也正因如…

nlp|微调大语言模型初探索(3),qlora微调deepseek记录

前言 上篇文章记录了使用lora微调llama-1b,微调成功,但是微调llama-8b显存爆炸,这次尝试使用qlora来尝试微调参数体量更大的大语言模型,看看64G显存的极限在哪里。 1.Why QLora? QLoRA 在模型加载阶段通过 4-bit 量化大幅减少了模型权重的显存占用。QLoRA 通过 反量化到 …

【设计模式】【创建型模式】工厂方法模式(Factory Methods)

&#x1f44b;hi&#xff0c;我不是一名外包公司的员工&#xff0c;也不会偷吃茶水间的零食&#xff0c;我的梦想是能写高端CRUD &#x1f525; 2025本人正在沉淀中… 博客更新速度 &#x1f44d; 欢迎点赞、收藏、关注&#xff0c;跟上我的更新节奏 &#x1f3b5; 当你的天空突…

DeepSeek模型快速部署教程-搭建自己的DeepSeek

前言&#xff1a;在人工智能技术飞速发展的今天&#xff0c;深度学习模型已成为推动各行各业智能化转型的核心驱动力。DeepSeek 作为一款领先的 AI 模型&#xff0c;凭借其高效的性能和灵活的部署方式&#xff0c;受到了广泛关注。无论是自然语言处理、图像识别&#xff0c;还是…

Deepseek 与 ChatGPT:AI 浪潮中的双子星较量

引言 在人工智能飞速发展的当下&#xff0c;AI 语言模型成为了人们关注的焦点。Deepseek 与 ChatGPT 作为其中的佼佼者&#xff0c;各自展现出独特的魅力&#xff0c;引领着 AI 技术的发展潮流。今天&#xff0c;就让我们深入探讨这两款模型&#xff0c;看看它们在 AI 领域中是…

QT事件循环

文章目录 主事件循环事件循环事件调度器事件处理投递事件发送事件 事件循环的嵌套线程的事件循环deleteLater与事件循环QEventLoop类QEventLoop应用等待一段时间同步操作模拟模态对话框 参考 本文主要对QT中的事件循环做简单介绍和使用 Qt作为一个跨平台的UI框架&#xff0c;其…

解决DeepSeek服务器繁忙问题的实用指南

目录 简述 1. 关于服务器繁忙 1.1 服务器负载与资源限制 1.2 会话管理与连接机制 1.3 客户端配置与网络问题 2. 关于DeepSeek服务的备用选项 2.1 纳米AI搜索 2.2 硅基流动 2.3 秘塔AI搜索 2.4 字节跳动火山引擎 2.5 百度云千帆 2.6 英伟达NIM 2.7 Groq 2.8 Firew…

进程等待和进程程序替换

进程控制 进程等待进程程序替换 进程等待 如果子进程没有退出 而父进程在进行执行waitpid进行等待&#xff0c;阻塞等待&#xff0c; 进程阻塞了 在等待某种条件发生&#xff08;子进程退出&#xff09; 进程程序替换 1 #include <stdio.h>2 #include <unistd.h>3…

UEFI Spec 学习笔记---6 - Block Translation Table (BTT) Layout

6.1 Block Translation Table (BTT) Background 定义个一个连续地址的非易失性的namespace&#xff0c;就是将一整个namespace 拆分成一个个block&#xff0c;其中的地址保存至BBT&#xff08;块转换表&#xff09;&#xff0c;这样可以防止扇区撕裂&#xff08;由于电源问题导…

SAP 代码扫描工具

描述&#xff1a; ZSCANNER是一个先进的代码分析工具&#xff0c;旨在提供对程序和功能模块内部工作的全面见解。它揭示了代码的技术细节&#xff0c;包括正在创建、读取、更新或删除的数据表&#xff08;CRUD操作&#xff09;&#xff0c;以及正在调用的类、功能模块和BAPI&a…