概述
共享内存可以通过 Unified Memory(统一内存)来实现,它允许 CPU 和 GPU 共享相同的内存地址空间,从而方便数据的传输和访问。
利用该技术可解决家用GPU 机器学习时显存不足的问题 (注: 虽然解决了爆显卡内存的问题,但使用共享内存将降低模型运行速度)
nvida组件安装
需要先安装 NVIDIA 驱动程序和 CUDA Toolkit
开启内存共享
编辑文件 .bashrc 加入环境变量
CUDA_MANAGED_FORCE_DEVICE_ALLOC=1
使用效果
后续使用中,将发现 VRAM不足而无法运行的模型可以运行起来,并且内存被大量占用。
RTX3080 ti(8G)使用 wan2.1 模型,图生成视频