书生大模型实战营2

L0——入门岛

Python基础

Conda虚拟环境

虚拟环境是Python开发中不可或缺的一部分，它允许你在不同的项目中使用不同版本的库，避免依赖冲突。Conda是一个强大的包管理器和环境管理器。

创建新环境

首先，确保你已经安装了Anaconda或Miniconda，推荐使用Miniconda。创建虚拟环境时我们主要需要设置两个参数，一是虚拟环境的名字，二是python的版本。

conda create --name myenv python=3.10

这将创建一个名为myenv的新环境，使用Python 3.10。 执行后会在下方提示我们同时需要安装的第三方依赖库。
在这里插入图片描述

在安装包时会有一步二次确认，填y后，第三方库将开始下载。
在这里插入图片描述

环境管理
  • 查看安装的虚拟环境

在这里插入图片描述

  • 激活环境

要使用创建好的虚拟环境，我们需要先激活环境。激活我们刚刚创建的myenv环境的命令如下：

conda activate myenv

执行后在命令行的最前边，可以看到相应的变化。
在这里插入图片描述

如果要退出环境，回到默认环境，命令为

conda deactivate

又回到了base环境。
在这里插入图片描述
其他常见的虚拟环境管理命令还有

#查看当前环境中安装了的所有包
conda list
#删除环境（比如要删除myenv）
conda env remove myenv
安装虚拟环境到指定目录

有时我们会遇到想将整个虚拟环境保存到指定目录来共享，比如在局域网内，或者在InternStudio的团队开发机间共享。此时我们可以把conda的虚拟环境创建到指定目录下。

只需要在创建环境时使用–prefix参数制定环境所在的文件夹即可，比如我们想在/root/envs/路径下创建刚刚我们创建过的myenv。

conda create --prefix /root/envs/myenv python=3.12

其他操作就与直接在默认路径下创建新环境没有区别了。想要激活保存在指定目录下的conda虚拟环境也十分简单，直接将环境名替换成所在文件夹就行。

conda activate /root/envs/myenv

myenv这个文件夹里包含了整个虚拟环境，所以理论上将他直接拷贝到任意一台安装了conda的机器上都能直接激活使用，这也是在内网机器上做环境配置的一种效率较高的解决方案。

使用pip安装Python三方依赖包

在Python开发中，安装和管理第三方包是日常任务。pip是Python官方的包管理工具，全称为“Python Package Installer”，用于方便地安装、升级和管理Python包。

使用pip安装包

注意在使用conda的时候，我们需要先激活我们要用的虚拟环境，再在激活的虚拟环境中，使用pip来安装包。pip安装包的命令为pip install。

pip install <somepackage> # 安装单个包，<somepackage>替换成你要安装的包名
pip install pandas numpy # 安装多个包，如panda和numpy，中间使用空格分隔
pip install numpy==2.0 # 指定版本安装
pip install numpy>=1.19,<2.0 # 使用版本范围安装
安装requirement.txt

如果你有一个包含所有依赖信息的 requirements.txt 文件，可以使用 -r 一次性安装所有依赖。requirements.txt 在各种开源代码中经常可以看到，里面描述了运行该代码所需要的包和对应版本。

pip install -r requirements.txt

比如以下就是我们接下来会接触到的LLM部署框架 lmdeploy 的 requirements.txt 的一部分。

accelerate>=0.29.3
mmengine-lite
numpy<2.0.0
openai
peft<=0.11.1
transformers
triton>=2.1.0,<=2.3.1;
安装到指定目录

我们在使用pip的时候可以使用–target或-t参数来指定安装目录，此时pip会将你需要安装的包安装到你指定的目录下。

这里我们用本次实战营最常用的环境/root/share/pre_envs/pytorch2.1.2cu12.1来举例。

# 首先激活环境
conda activate /root/share/pre_envs/pytorch2.1.2cu12.1# 创建一个目录/root/myenvs，并将包安装到这个目录下
mkdir -p /root/myenvs
pip install <somepackage> --target /root/myenvs# 注意这里也可以使用-r来安装requirements.txt
pip install -r requirements.txt --target /root/myenvs

要使用安装在指定目录的python包，可以在python脚本开头临时动态地将该路径加入python环境变量中去

import sys  # 你要添加的目录路径  
your_directory = '/root/myenvs'  # 检查该目录是否已经在 sys.path 中  
if your_directory not in sys.path:  # 将目录添加到 sys.path  sys.path.append(your_directory)  # 现在你可以直接导入该目录中的模块了  
# 例如：import your_module

使用本地Vscode连接InternStudio开发机

使用SSH连接开发机

使用第一关在vs code中配置远程执行机的SSH连接，进入到执行机时，需要再次输入ssh连接的密码。
在这里插入图片描述
连接成功后我们打开远程连接的vscode的extensions，在远程开发机(SSH:SSH.INTERN-AI.ORG.CN) 上安装好python的插件，后面python debug会用到。也可以一键把我们本地vscode的插件安装到开发机上。

在这里插入图片描述
Python 和下边的 Python Debugger 将被同时安装。

在vscode中选择conda虚拟环境

当我们新建完一个python文件后，需要在右下角单击选择我们的python解释器才能运行。
在这里插入图片描述
这边我们会看到当前本机上已经安装好的所有python解释器，直接选择上一步中创建的环境中的解释器就行。
在这里插入图片描述
选择后，界面右下角即显示为当前使用的解释器。
在这里插入图片描述

如何在Vscode中打开终端

可以有两种常用的方法打开终端：

单击VSCode页面底部状态栏中的“终端”图标，可以快速打开VSCode的终端面板。
在这里插入图片描述

使用快捷键Ctrl+`，也可以快速打开VSCode的终端面板。
在这里插入图片描述

TIPS：终端面板右上方的+可以新建一个终端窗口。
在这里插入图片描述

使用vscode连接开发机进行python debug

什么是debug？

当你刚开始学习Python编程时，可能会遇到代码不按预期运行的情况。这时，你就需要用到“debug”了。简单来说，“debug”就是能再程序中设置中断点并支持一行一行地运行代码，观测程序中变量的变化，然后找出并修正代码中的错误。而VSCode提供了一个非常方便的debug工具，可以帮助你更容易地找到和修复错误。

使用Vscode进行Python debug的流程
  • debug单个python文件

新建一个python文件，并放入以下内容。

def range_sum(start,end):sum_res = 0for i in range(start,end):sum_res+=ireturn sum_resif __name__ =="__main__":print(range_sum(1,10))

打开Python文件，点击“运行和调试”图标。
在这里插入图片描述

首次debug需要配置，选择python debugger后选择“debug Python File”。
在这里插入图片描述

  • 设置断点

在代码行号旁边点击，可以添加一个红点，这就是断点（如果不能添加红点需要检查一下Python扩展是否已经正确安装）。当代码运行到这里时，它会停下来，这样你就可以检查变量的值、执行步骤等。接下来，我们在第4行的核心代码处打上断点。
在这里插入图片描述

  • 启动debug

点击VSCode侧边栏的“Run and Debug”（运行和调试），选择调试配置后，点击按钮，或者按F5键。
在这里插入图片描述

  • 查看变量

当代码在断点处停下来时，你可以查看和修改变量的值。在“Run and Debug”侧边栏的“Variables”（变量）部分，你可以看到当前作用域内的所有变量及其值。
在这里插入图片描述

  • 单步执行代码

你可以使用顶部的debug面板的按钮来单步执行代码。这样，你可以逐行运行代码，并查看每行代码执行后的效果。
在这里插入图片描述
debug面板各按钮功能介绍：

continue: 继续运行到下一个断点。
step over: 单步跳过，可以理解为运行当前行代码，不进入具体的函数或者方法。
step into: 单步进入。如果当前行代码存在函数调用，则进入该函数内部。如果当前行代码没有函数调用，则等价于step over。
step out: 单步退出函数，返回到调用该函数的上一层代码。
restart: 重新启动调试。
stop: 终止调试。
  • 修复错误并重新运行

如果你找到了代码中的错误，可以修复它，然后重新运行debug来确保问题已经被解决。

通过遵循以上步骤，你可以使用VSCode的debug功能来更容易地找到和修复你Python代码中的错误。可以自己编写一个简单的python脚本，并尝试使用debug来更好的理解代码的运行逻辑。记住，debug是编程中非常重要的一部分，所以不要怕花时间在这上面。随着时间的推移，你会变得越来越擅长它！

不同的断点

在调试（Debug）过程中，断点（Breakpoint）允许程序员在程序的执行流程中设置暂停点。当程序运行到这些断点时，执行会暂时中断，使得我们可以检查此时程序的状态，包括变量的值、内存的内容等。断点为我们提供了一个观察程序运行细节的机会，从而帮助我们定位和解决程序中的错误或问题。在VSCode中，我们还可以设置条件断点，这样断点只有在满足特定条件时才会触发。
在这里插入图片描述
在这里插入图片描述

  • 普通断点：在代码行号左侧点击，添加断点。
  • 条件断点：在断点标记上右键，选择条件断点（conditional breakpoint）。VSCode 中常用的条件断点主要有三种类型：
  • 表达式（Expression）：输入一个 Python 表达式，每次触发断点时运行该表达式，当表达式的值为 True 时 VS Code 会暂停执行。例如：x == 10
  • 触发计数（Hit Count）：断点触发计数达到输入值时才会暂停运行。
  • 记录日志（Log Message）：触发该断点时在 Debug Console 中输出指定信息，实际上就是 logpoint。需要输入要输出的信息，如果要用到表达式，可以使用 {} 将表达式括起来。例如，每次记录变量 i 的值可以写 x={i}。

表达式条件断点
比如我们想让代码在 i=end-1 时停下来，可以这样设置： 在断点处右键选择“条件断点”，然后输入条件 i == end-1。

Python调用InternLM api

如何获取api key

前往书生浦语的API文档, (https://internlm.intern-ai.org.cn/api/tokens) 登陆后点击API tokens。
然后创建一个新的api token。
在这里插入图片描述

这里一定要注意，浦语的token只有刚创建的时候才能看到全文，后续没法再查看已经创建好的token，如果忘记需要重新创建，所以创建完了以后记得先复制保存到本地。

如何使用InternLM api

我们可以使用openai python sdk来调用InternLM api。注意在配置api key时，更推荐使用环境变量来配置以避免token泄露。

#./internlm_test.py
from openai import OpenAI
import os
def internlm_gen(prompt,client):'''LLM生成函数Param prompt: prompt stringParam client: OpenAI client '''response = client.chat.completions.create(model="internlm2.5-latest",messages=[{"role": "user", "content": prompt},],stream=False)return response.choices[0].message.contentapi_key = os.getenv('api_key')
#api_key = "" #也可以明文写在代码内，不推荐
client = OpenAI(base_url="https://internlm-chat.intern-ai.org.cn/puyu/api/v1/",api_key=api_key)
prompt = '''你好！你是谁？'''
response = internlm_gen(prompt,client)
print(response)

我们可以在终端中临时将token加入变量，此时该环境变量只在当前终端内有效。所以该种方法需要我们在该终端中运行我们的py脚本。

export api_key="填入你的api token"
python internlm_test.py

若是想永久加入环境变量，可以对 ~/.bashrc 文件中添加以下命令。

export api_key="填入你的api token"

保存后记得source ~/.bashrc。

运行效果如下：
在这里插入图片描述

闯关任务

Leetcode 383
class Solution:def canConstruct(self, ransomNote: str, magazine: str) -> bool:counts = {}for c in magazine:counts[c] = counts.get(c,0) + 1for c in ransomNote:if c not in counts or counts[c] == 0:return Falsecounts[c] -= 1return True

在这里插入图片描述

Vscode连接InternStudio debug笔记

在环境变量中配置 api_key 后，并在代码中配置从os中获取。
在这里插入图片描述
首次运行代码时会报错，通过debug可以发现 res 字段返回的内容并不全是json结构，需要进行一次提取。这里使用了正则表达式。
在这里插入图片描述

pip安装到指定目录

通过pip安装 numpy 到指定目录下
在这里插入图片描述
新建python文件，并将numpy所在目录在文件最上边进行添加，下边就可以正常引用numpy库了，效果如下。
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/8335.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

力扣111二叉树的最小深度（DFS）

力扣111二叉树的最小深度（DFS）

Problem: 111. 二叉树的最小深度 文章目录 题目描述思路复杂度Code 题目描述 思路 1.欲望求出最短的路径&#xff0c;先可以记录一个变量minDepth&#xff0c;同时记录每次当前节点所在的层数currentDepth 2.在递的过程中&#xff0c;每次递一层&#xff0c;也即使当前又往下走…
阅读更多...
Scrapy如何设置iP,并实现IP重用, IP代理池重用

Scrapy如何设置iP,并实现IP重用, IP代理池重用

前置知识 1/3乐观锁 2/3 Scrapy流程(非全部) 3/3 关于付费代理 我用的"快代理", 1000个ip, 每个ip1min的有效期, 你用的时候, 把你的链接, 用户名填上去就行 设置代理IP &#x1f512; & 帮助文档: ①meta ②meta#proxy$ 语法: ①proxy的设置: Request对象中…
阅读更多...
渗透测试-WAF是什么以及原理解释 waf功能详解

渗透测试-WAF是什么以及原理解释 waf功能详解

目录 waf功能介绍 waf出现的地点: 什么是waf 功能: 常见的系统攻击分为两类 一是利用Web服务器的漏洞进行攻击 二是利用网页自身的安全漏洞进行攻击 WAF主要功能&#xff1a; waf的特点1 waf主要功能2 网马木马主动防御及查杀 流量监控 网站漏洞防御功能 危险组件…
阅读更多...
KF-GINS源码阅读

KF-GINS源码阅读

原始 Markdown文档、Visio流程图、XMind思维导图见&#xff1a;https://github.com/LiZhengXiao99/Navigation-Learning 文章目录 一、KF-GINS 简介1、程序概述2、相关资料3、文件结构4、第三方库 二、编译、调试三、类型定义1、核心类&#xff1a;GIEngine2、文件读写类型3、配…
阅读更多...
基础项目实战——3D赛车（c++）

基础项目实战——3D赛车（c++）

目录 前言一、渲染引擎二、关闭事件三、梯形绘制四、轨道绘制五、边缘绘制六、草坪绘制七、前后移动八、左右移动​九、曲线轨道​十、课山坡轨道​十一、循环轨道​十二、背景展示​十三、引入速度​十四、物品绘制​十五、课数字路障​十六、分数展示​十七、重新生成​十八、…
阅读更多...
探索与创新：DeepSeek R1与Ollama在深度研究中的应用

探索与创新：DeepSeek R1与Ollama在深度研究中的应用

在当今信息爆炸的时代&#xff0c;获取和处理信息的能力变得至关重要。特别是在学术和研究领域&#xff0c;如何有效地进行深度研究是一个亟待解决的问题。最近&#xff0c;一个名为DeepSeek R1的模型结合Ollama平台提供了一种创新的解决方案。本文将分析并解构这一新兴的研究工…
阅读更多...
【Linux】gdb——Linux调试器

【Linux】gdb——Linux调试器

gdb使用背景 程序的发布方式有两种&#xff0c;debug模式和release模式 Linux gcc/g出来的二进制程序&#xff0c;默认是release模式 要使用gdb调试&#xff0c;必须在源代码生成二进制程序的时候, 加上 -g 选项 gdb使用方法 首先进入gdb gdb test_glist显示代码 断点 b 行…
阅读更多...
【单链表算法实战】解锁数据结构核心谜题——环形链表

【单链表算法实战】解锁数据结构核心谜题——环形链表

题目如下&#xff1a; 解题过程如下&#xff1a; 环形链表&#xff1a;尾结点的next指针不为空&#xff0c;而是指向链表中的任一结点。 思路&#xff1a;快慢指针&#xff0c;慢指针每次走一步&#xff0c;快指针每次走两步。快慢指针在环中追逐相遇&#xff0c;那么这个链表…
阅读更多...
56. 合并区间

56. 合并区间

【题目】&#xff1a;56. 合并区间 class Solution { public:vector<vector<int>> merge(vector<vector<int>>& intervals) {// 按照左端点排序sort(intervals.begin(), intervals.end(), [&](vector<int> lhs, vector<int> rhs)…
阅读更多...
01-硬件入门学习/嵌入式教程-CH340C使用教程

01-硬件入门学习/嵌入式教程-CH340C使用教程

前言 CH340C广泛应用于DIY项目和嵌入式开发中&#xff0c;用于USB数据转换和串口通信。本文将详细介绍CH340C的基本功能、引脚接线及使用方法。 CH340C简介 CH340C是一款USB转TTL电平转换器&#xff0c;可以将电脑的USB数据转换成串口数据&#xff0c;方便与单片机&#xff…
阅读更多...
深度学习｜表示学习｜卷积神经网络｜详细推导每一层的维度变化｜14

深度学习｜表示学习｜卷积神经网络｜详细推导每一层的维度变化｜14

如是我闻&#xff1a; 一个经典的卷积神经网络&#xff08;CNN&#xff09;架构&#xff0c;呈现的是输入图像通过多个卷积层、池化层以及全连接层&#xff0c;最终输出分类结果的过程。整个过程的核心是理解输入特征图的尺寸如何在每一层发生变化&#xff0c;我们可以通过卷积…
阅读更多...
5.1.4 软件工具+开发环境

5.1.4 软件工具+开发环境

文章目录 软件工具软件开发环境 软件工具 软件工具是辅助软件工程实施的软件&#xff0c;也叫CASE工具。软件工具可分为支持软件开发过程的工具、软件维护工具、软件管理工具3类。 支持软件开发过程的工具 需求分析工具&#xff1a;从需求定义制定出功能规范&#xff0c;描述软…
阅读更多...
ospf动态路由配置，cost路径调整，ospf认证实验

ospf动态路由配置，cost路径调整，ospf认证实验

一、实验拓扑如图&#xff1a; 接口ip配置网络 &#xff1a;10.17.12.* 10.17.13.* &#xff0c;10.17.23.* 回环接口配置分别为 10.0.1.1 &#xff0c;10.0.1.2&#xff0c;10.0.1.3对应三台路由器 ar1配置接口ip interface GigabitEthernet0/0/0 ip address 10.17.12.1…
阅读更多...
通过亚马逊云科技Bedrock打造自定义AI智能体Agent(上)

通过亚马逊云科技Bedrock打造自定义AI智能体Agent(上)

大家对于智能体代理Agent一定已经非常熟悉&#xff0c;自主代理&#xff08;Autonomous Agents&#xff09; 目前在AI行业极其热门并具有巨大的潜力&#xff0c;能够显著提升开发者日常的工作效率、自动化日常琐碎、重复性任务&#xff0c;并生成全新的内容。Agent可以理解用户…
阅读更多...
Sklearn 中的逻辑回归

Sklearn 中的逻辑回归

逻辑回归的数学模型 基本模型 逻辑回归主要用于处理二分类问题。二分类问题对于模型的输出包含 0 和 1&#xff0c;是一个不连续的值。分类问题的结果一般不能由线性函数求出。这里就需要一个特别的函数来求解&#xff0c;这里引入一个新的函数 Sigmoid 函数&#xff0c;也成…
阅读更多...
基于STM32的循迹小车设计与实现

基于STM32的循迹小车设计与实现

1 系统方案设计 根据系统设计功能&#xff0c;展开基于STM32的循迹小车设计&#xff0c;整体设计框图如图2.1所示。系统采用STM32单片机作为控制器,通过L298驱动器控制两个直流电机实现对小车的运动控制&#xff0c;两路红外模块实现黑线的检测&#xff0c;HC-SR04超声波模块实…
阅读更多...
异或哈希总结

异或哈希总结

例题 例题1https://codeforces.com/problemset/problem/1175/Fhttps://codeforces.com/problemset/problem/1175/F 例题2https://codeforces.com/contest/2014/problem/Hhttps://codeforces.com/contest/2014/problem/H例题4https://codeforces.com/contest/1418/problem/Ght…
阅读更多...
深入理解若依RuoYi-Vue数据字典设计与实现

深入理解若依RuoYi-Vue数据字典设计与实现

深入理解若依数据字典设计与实现 一、Vue2版本主要文件目录 组件目录src/components&#xff1a;数据字典组件、字典标签组件 工具目录src/utils&#xff1a;字典工具类 store目录src/store&#xff1a;字典数据 main.js&#xff1a;字典数据初始化 页面使用字典例子&#xf…
阅读更多...
Leecode刷题C语言之跳跃游戏②

Leecode刷题C语言之跳跃游戏②

执行结果:通过 执行用时和内存消耗如下&#xff1a; int jump(int* nums, int numsSize) {int position numsSize - 1;int steps 0;while (position > 0) {for (int i 0; i < position; i) {if (i nums[i] > position) {position i;steps;break;}}}return steps…
阅读更多...
【C++数论】880. 索引处的解码字符串|2010

【C++数论】880. 索引处的解码字符串|2010

本文涉及知识点 数论&#xff1a;质数、最大公约数、菲蜀定理 LeetCode880. 索引处的解码字符串 给定一个编码字符串 s 。请你找出 解码字符串 并将其写入磁带。解码时&#xff0c;从编码字符串中 每次读取一个字符 &#xff0c;并采取以下步骤&#xff1a; 如果所读的字符是…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023