基于LangChain构建安全Agent应用实践(含代码)

        概述:本文基于langchain和Cyber Security Breaches数据集构建Agent,并基于该Agent实现了数据分析、趋势图输出、预测攻击态势三个功能,最后给出Agent在安全领域应用的三点启示。

前提:

1、拥有openai API KEY;(要付费的)

2、熟悉Google colab 环境;(T4显卡可免费使用12个小时)

3、下载好数据集。

一、选定数据集,

数据集的选择是根据我们想要做的事情定的,基于我们的目标事件,去HG上寻找是否有相关数据集。这里笔者想要分析网络安全漏洞影响,所以选择了“Cyber Security Breaches”数据集。

&&网络安全漏洞库Cyber Security Breaches

        Cyber Security Breaches数据集,该数据集包含了各种有关网络安全漏洞的信息,如受影响组织的名称、国家、受影响人数、数据泄露类型等。用户可以通过该页面查看数据集的详细信息,并使用Hugging Face库进行数据集的访问和处理。页面提供了数据集的统计信息、示例数据和数据集字段的详细描述,帮助用户更好地了解数据集内容。

        数据集地址:https://huggingface.co/datasets/schooly/Cyber-Security-Breaches/viewer

         上传数据集:下载好Cyber Security Breaches到本地计算机后运行上传代码,并打印前面10行进行有原数据进行比对并确认无错误。

from google.colab import filesdef load_csv_file():
#  """Loads a CSV file into a Pandas dataframe."""uploaded_file = files.upload()file_path = next(iter(uploaded_file))document = pd.read_csv(file_path)return documentif __name__ == "__main__":document = load_csv_file()

二、基于langchian搭建agent

             通常来说,基于langchain搭建agent主要包含定义代理类型、配置工具和语言模型,并根据需要将代理部署在应用程序中等步骤:以下是一个基于 LangChain 搭建基本 `agent` 的示例流程:

 2.1、安装依赖

确保安装了 `LangChain` 和其他必要的依赖。
```python
!pip install langchain
!pip install openai
```

2.2、导入模块

导入 `LangChain` 的核心模块,包括代理、工具和语言模型。
```python
from langchain.agents import initialize_agent, Tool
from langchain.llms import OpenAI
from langchain.agents.agent_types import AgentType
```

 2.3、定义语言模型

设置 OpenAI 的语言模型,比如 `ChatOpenAI` 或 `OpenAI`,并调整温度等参数来控制模型响应的创造性。
```python
llm = OpenAI(api_key="your_openai_api_key", temperature=0)
```

 2.4、配置工具

定义代理将使用的工具(Tool),这些工具可以包括搜索、数据库查询、文件读取等操作。
```python
tools = [
    Tool(
        name="search_tool",
        func=lambda query: "Search result for: " + query,  # 假设一个简单的搜索工具
        description="这个工具用于从搜索引擎中获取信息。"
    )
]
```

langchain常见工具举例,本文将使用到PandasDataFrame工具进行数据分析。

函数名称

说明

使用场景举例

SearchTool

一个简单的搜索工具,允许通过查询访问网络信息。

用户询问最新的科技新闻,代理使用搜索工具提供最新的信息。

Wikipedia

从维基百科提取信息的工具,可以用于快速获取知识性内容。

用户询问某个历史事件,代理调用维基百科工具提供相关信息。

PandasDataFrame

处理和分析 Pandas DataFrame 的工具,支持数据操作。

用户请求对某数据集进行统计分析,代理使用 Pandas 工具执行操作。

Calculator

基本计算器工具,用于执行数学计算。

用户询问复杂的数学问题,如积分或代数,代理调用计算器工具进行计算。

WebScraper

网页抓取工具,用于从网页中提取数据。

用户希望获取某个电商网站的产品价格信息,代理使用网页抓取工具提取数据。

FileReader

读取文件内容的工具,如文本文件或 CSV 文件。

用户上传文件并请求数据分析,代理使用文件读取工具加载数据。

ChatTool

处理对话的工具,用于与用户进行交互。

用户与代理进行问答,代理调用对话工具生成自然语言响应。

OpenAIFunctions

调用 OpenAI API 的工具,进行自然语言处理和生成。

用户请求生成一篇文章,代理调用 OpenAI 函数生成文本内容。

2.5、 初始化代理

使用 `initialize_agent` 函数创建代理,指定类型、工具和语言模型。
```python
agent = initialize_agent(
    tools=tools,
    llm=llm,
    agent_type=AgentType.ZERO_SHOT_REACT_DESCRIPTION,  # 设置代理类型
    verbose=True  # 启用详细模式以跟踪代理执行过程
)
```

2.6、使用代理

一旦代理配置完成,便可以用自然语言向代理发送请求,并获取相应的响应。
```python
query = "What are the latest trends in cybersecurity?"
response = agent.run(query)
print(response)
```

常用代理类型
- **Zero-Shot React**:适用于直接响应的代理,主要用于简单的 Q&A。
- **Self-Ask with Search**:将复杂问题分解成简单问题,并使用搜索工具查找答案。
- **React Docstore**:适合访问和查询文档库数据的代理类型。

扩展功能
你可以根据需求添加更多工具,或使用特定的代理类型来处理特定任务,比如 `Structured Chat` 用于多输入工具或复杂聊天对话。

 代理的应用场景
可以将构建的代理用于各种应用场景,包括智能客服、数据分析助手、文档检索工具等。

三、 智能体应用

        3.1、创建Agent

        基于langchain框架导入模块并创建数据框agent,通过 create_pandas_dataframe_agent 函数,创建了一个 Pandas 数据框代理 sm_ds_OAI。该代理会与 OpenAI 的模型结合,能够接受自然语言的指令来分析和查询 document 中的数据,实现智能的数据处理和分析

# 导入模块
from langchain.agents.agent_types import AgentType  #导入 AgentType 枚举,用于指定代理类型。from langchain_experimental.agents.agent_toolkits import create_pandas_dataframe_agent 
#从实验模块中导入 create_pandas_dataframe_agent 函数,这个函数允许我们创建一个 Pandas DataFrame 的智能代理。from langchain_openai import ChatOpenAI
from langchain_openai import OpenAI#创建数据框代理
sm_ds_OAI = create_pandas_dataframe_agent(OpenAI(temperature=0),document,verbose=True
)

3.2、实践一:分析总结

                使用sm_ds_OAI.invok()进行数据分析,invok是Langchain中向智能体发送自然语言指令的方法,它允许agent根据这些指令执行相关让任务并返回结果,具体功能包括任务调度、自然语言执行、支持多种工具调用和生成响应。

sm_ds_OAI.invoke("请分析此数据,并用大约 100 字的中文简要说明。请将分析过程的标记,如'Thought'和'Action'替换为'思考'和'执行'")

      在 LangChain 中,有多个方法可以用于执行不同任务。下面是一些常见的方法,包括说明、使用场景和 Python 调用示例:

函数名称

说明

使用场景举例

函数调用示例

invoke

发送指令到代理,自动匹配工具或模型执行任务,并返回结果。

进行数据分析、生成报告、回答问题等任务

agent.invoke("Describe the dataset")

run

类似于 invoke,但通常用于快速执行单步指令,适合简单任务。

用户请求快速问题回答,如“今天的天气如何?”

agent.run("What is the weather today?")

add_tool

动态添加工具到代理中,使代理在调用时可以使用新工具。

用户希望添加一个新的搜索工具,以增强代理的能力

agent.add_tool(search_tool)

get_tools

获取当前代理中的所有可用工具,便于了解代理的能力范围。

用户希望查看代理具备哪些工具来完成特定任务

agent.get_tools()

set_verbose

设置代理的详细模式,显示执行过程的详细信息,有助于调试。

在调试过程中查看代理调用的每个步骤和输出细节

agent.set_verbose(True)

clear_memory

清除代理的临时记忆,适用于多轮对话中重置上下文的情况。

用户在会话中想从头开始交谈,以避免前面内容的干扰

agent.clear_memory()

initialize_agent

初始化代理,配置语言模型、工具等资源,用于设置代理环境。

初始化代理的配置,如加载数据处理工具和模型

initialize_agent(tools, llm)

        运行上面的语言后,Agent开始运行,可以看到经过九步思考与执行后,agent给出了最终的分析结论。

> Finished chain.
{'input': "请分析此数据,并用大约 100 字的中文简要说明。请将分析过程的标记,如'Thought'和'Action'替换为'思考'和'执行'",'output': '根据对该数据的分析,可以发现该数据集包含1055条记录,涉及到不同州的医疗机构发生的违规事件。其中,受影响人数最多的州是加利福尼亚州,受影响人数最少的州是阿拉斯加州。同时,通过散点图可以发现,随着年份的增加,受影响人数也呈现增加的趋势。此外,还发现数据中存在大量缺失值,需要进一步处理。'}

Entering new AgentExecutor chain...

一步

Thought: 我需要使用pandas来分析这个数据

Action: python_repl_ast

Action Input: import pandas as pd

Observation:

两步

Thought: 我需要将数据读取到一个pandas dataframe中

Action: python_repl_ast

Action Input: df = pd.read_csv('data.csv')

Observation:

三步

Thought: 我需要先将数据文件下载到本地

Action: 下载数据文件

Action Input: data.csv

Observation:

四步

Thought: 我需要使用pandas的head()函数来查看数据的前几行

Action: python_repl_ast

Action Input: print(df.head())

Observation:

五步

Thought: 我需要对数据进行简单的描述性统计分析

Action: python_repl_ast

Action Input: df.describe()

Observation:

六步

Thought: 我需要对数据进行更深入的分析,比如查看缺失值和数据类型

Action: python_repl_ast

Action Input: df.info()

七步

Thought: 我需要对数据进行可视化分析,比如绘制柱状图来查看不同州的数据数量 Action: python_repl_ast

Action Input: df['State'].value_counts().plot(kind='bar')

Observation: Axes(0.125,0.11;0.775x0.77)

Observation: Axes(0.125,0.11;0.775x0.77)

八步

Thought: 我需要对数据进行更深入的可视化分析,比如绘制散点图来查看受影响人数和年份的关系 Action: python_repl_ast Action Input: df.plot.scatter(x='year', y='Individuals_Affected') Observation: Axes(0.125,0.11;0.775x0.77)

九步

Thought: 我现在知道了数据的大致情况,可以开始撰写分析报告了

Final Answer: 根据对该数据的分析,可以发现该数据集包含1055条记录,涉及到不同州的医疗机构发生的违规事件。其中,受影响人数最多的州是加利福尼亚州,受影响人数最少的州是阿拉斯加州。同时,通过散点图可以发现,随着年份的增加,受影响人数也呈现增加的趋势。此外,还发现数据中存在大量缺失值,需要进一步处理。

Finished chain.

{'input': "请分析此数据,并用大约 100 字的中文简要说明。请将分析过程的标记,如'Thought'和'Action'替换为'思考'和'执行'",

'output': '根据对该数据的分析,可以发现该数据集包含1055条记录,涉及到不同州的医疗机构发生的违规事件。其中,受影响人数最多的州是加利福尼亚州,受影响人数最少的州是阿拉斯加州。同时,通过散点图可以发现,随着年份的增加,受影响人数也呈现增加的趋势。此外,还发现数据中存在大量缺失值,需要进一步处理。'}

备注:因为Observation数据较多,为节省空间,前面几步的内容不再文章内呈现。

此处想到这个画面应该不过分吧?

图片来源:https://www.youtube.com/watch?v=zt9Oh_RZ5KU 

3.3、实践二:趋势图输出

        在讲langchain中的invoke方法时有提到,run方法通常用于快速执行单步指令,适合简单任务。实践二基于run()实现趋势图的绘制。

        sm_ds_OAI.run("画一条体现整体安全的趋势图")

3.4、实践三:预测攻击态势

   运行:     

sm_ds_OAI.invoke("""选择一个预测模型来预测攻击态势。使用这种类型的模型来预测在加利福尼亚州未来3年的平均攻击次数和受影响的人数。output输出的内容翻译为中文。""")

输出结果: '加利福尼亚州未来3年的平均攻击次数为536.27次,受影响的人数为41345.94人。'

四、安全应用启示

       一、安全领域应用:将 Cyber Security Breaches数据集替换为用户的网络安全攻击日志,那么基于智能体开展态势分析、威胁狩猎、攻击溯源、态势预测、数据统计等工作均成为可能。

       二、 数据安全:SOTA大模型效果虽然相对好,但是调用API方式存在数据安全的问题,国内政府、金融、能源等行业难以落地,本地部署安全领域垂直模型是一种可行路径。

        三、价格昂贵:即使能接受数据外传,调用API方式的花费依然是个天文数字,笔者大概观测了下,上文实践一运行一次0.2元,实践三运行一次0.3元,而且是基于gpt-3.5-turbo,如果换位GPT4-O,实时流量检测场景下,一个用户平均一天1亿条HTTP日志,一条HTTP按照1000Token计算,每天的费用上亿美元,如此看来实时检测通过调用SOTA大模型API是天方夜谭,不过在安全分析场景可以考

《本文完》

图:高铁外的雪山

参考:https://github.com/peremartra/Large-Language-Model-Notebooks-Course/blob/main/3-LangChain/LangChain_Agent_create_Data_Scientist_Assistant.ipynb

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/460357.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

机器学习-决策树

登录后复制 import numpy as np import matplotlib.pyplot as plt from sklearn import datasetsiris datasets.load_iris() X iris.data[:,2:] y iris.target plt.scatter(X[y0,0], X[y0,1]) plt.scatter(X[y1,0], X[y1,1]) plt.scatter(X[y2,0], X[y2,1]) plt.show() 1.2.…

为什么大模型都是Decoder-only结构?

扫一扫下方,获取更多面试真题的集合 在探讨当前大型语言模型(LLM)普遍采用Decoder-only架构的现象时,我们可以从以下几个学术角度进行分析: 注意力机制的满秩特性:Decoder-only架构采用的因果注意力机制&am…

Linux系统块存储子系统分析记录

1 Linux存储栈 通过网址Linux Storage Stack Diagram - Thomas-Krenn-Wiki-en,可以获取多个linux内核版本下的存储栈概略图,下面是kernel-4.0的存储栈概略图: 2 存储接口、传输速度 和 协议 2.1 硬盘 《深入浅出SSD:固态存储核心…

北京迅为iTOP-LS2K0500开发板快速使用编译环境虚拟机Ubuntu基础操作及设置

迅为iTOP-LS2K0500开发板 迅为iTOP-LS2K0500开发板采用龙芯LS2K0500处理器,基于龙芯自主指令系统(LoongArch)架构,片内集成64位LA264处理器核、32位DDR3控制器、2D GPU、DVO显示接口、两路PClE2.0、两路SATA2.0、四路USB2.0、一路…

电子电气架构 --- 车载芯片现状

我是穿拖鞋的汉子,魔都中坚持长期主义的汽车电子工程师。 老规矩,分享一段喜欢的文字,避免自己成为高知识低文化的工程师: 所有人的看法和评价都是暂时的,只有自己的经历是伴随一生的,几乎所有的担忧和畏惧…

MySQL分层结构由哪些组成?

1、MySQL分层结构由哪些组成? MySQL按照功能模块可以分为3层:连接层、服务层和存储引擎层。 连接层位于Server服务层的最外层,负责与客户端的直接交互,从功能上单独划分一层更合适。 不同的存储引擎在存储层有不同的实现&#x…

Vue3入门--[vue/compiler-sfc] Unexpected token, expected “,“ (18:0)

新手小白学习Vue–入门就踩坑系列 问题描述 创建了一个Person.vue,保存后直接报错: [plugin:vite:vue] [vue/compiler-sfc] Unexpected token, expected "," (18:0) 在网上搜了半天也没找到原因,最后还得靠自己,现将解…

【宠粉赠书】大模型项目实战:多领域智能应用开发

在当今的人工智能与自然语言处理领域,大型语言模型(LLM)凭借其强大的生成与理解能力,正在广泛应用于多个实际场景中。《大模型项目实战:多领域智能应用开发》为大家提供了全面的应用技巧和案例,帮助开发者深…

java:入门基础(1)

练习一:文字版格斗游戏 需求: ​ 格斗游戏,每个游戏角色的姓名,血量,都不相同,在选定人物的时候(new对象的时候),这些信息就应该被确定下来。 举例: ​ 程序运行之后…

Apache Paimon介绍

目录 背景 诞生 应用场景 实时数据分析与查询 流批一体处理 低成本高效存储 具体业务场景示例 总结 系统架构 存储层 元数据管理 计算层 数据摄入和输出 查询优化 扩展性和可靠性 生态系统集成 总结 核心概念 表(Table) 模式&#xf…

书生实战营第四期-第三关 Git+InternStudio

一、任务1: 破冰活动:自我介绍 1.fork项目到自己的账号下 2. 配置git并克隆项目到InternStudio本地 3.创建分支 4.创建自己的介绍文件 5.提交更改分支 6.推送分支到远程仓库 这里推送时会报错 问题解决:将密码换成access token 7.检查提交内容 分支…

【商汤科技-注册/登录安全分析报告】

前言 由于网站注册入口容易被黑客攻击,存在如下安全问题: 暴力破解密码,造成用户信息泄露短信盗刷的安全问题,影响业务及导致用户投诉带来经济损失,尤其是后付费客户,风险巨大,造成亏损无底洞…

2-134 基于matlab的图像边缘检测

基于matlab的图像边缘检测,采用六种算子(分别是gabor、拉普拉斯、priwitt、robert、sobel、wallis微分算子),对图象进行边缘检测比较,输出边缘检测结果。可对比效果优劣。程序已调通,可直接运行。 下载源程序请点链接…

【计网】网络协议栈学习总结 --- 浏览器上输入网址域名后点击回车,到底发生了什么?

未来的路不会比过去更笔直,更平坦, 但是我并不恐惧, 我眼前还闪动着道路前方野百合和野蔷薇的影子。 --- 季羡林 《八十抒怀》--- 浏览器上输入URL后回车,到底发生了什么? 1 前言2 解析URL形成http请求3 DNS域名解…

ReactNative Fabric渲染器和组件(5)

ReactNative Fabric渲染器和组件 简述 Fabric是ReactNative中新架构最核心的模块,本章我们会来了解一下自定义一个Fabric组件,然后在JS文件中声明之后如何,是怎么映射到原生构建一个View的。 关于Fabric架构理念官网已经有说明了&#xff0…

推荐一款优秀的pdf编辑器:Ashampoo PDF Pro

Ashampoo PDF Pro是管理和编辑 PDF 文档的完整解决方案。程序拥有您创建、转换、编辑和保护文档所需的一切功能。根据需要可以创建特定大小的文档,跨设备可读,还可以保护文件。现在您还能像编辑Word文档一样编辑PDF! 软件特点 轻松处理文字 如 Microso…

开发流程初学者指南——需求分析

目录 从零开始理解需求分析什么是需求分析?需求分析的目标需求分析的基本原则需求分析的各个阶段需求分析的常用方法和工具编写需求文档总结 从零开始理解需求分析 需求分析是软件开发过程中不可或缺的一环,它帮助我们明确用户的需求,确保最…

Linux中Web服务器配置和管理(Apache)

文章目录 一、WEB服务器介绍1.1、WEB服务器概述1.2、WEB服务器的发展历史1.3、WEB服务器的优点与缺点1.4、WEB服务器的工作流程 二、Apache介绍2.1、Apache是什么2.2、Apache的发展史与应用场景2.3、Apache的特点2.4、Apache的工作原理2.5、Apache的模块 三、安装使用Apache服务…

在VS Code中操作MySQL数据库

【基础篇】 【小白专用24.5.26 已验证】VSCode下载和安装与配置PHP开发环境(详细版)_vscode php-CSDN博客 ~~~~~~~~~~~~~~~~~~~~~~~~~ 在VS Code中下载插件 Prettier SQL VSCode 和 MySQL : 随后在VS Code中点击Database图标 在连接界面输入MySQL数据库…

Unity可视化Shader工具ASE介绍——自定义函数

阿赵的Unity可视化Shader工具ASE介绍目录   大家好,我是阿赵。   之前介绍过一些ASE的用法,发现漏了一个比较重要的,自定义函数的使用。这里补充一下。 一、 使用的场合 在使用ASE制作Shader的过程中,可能会遇到以下这些情况…