借鉴LangChain思想使用Java实现大模型Function_Call工具开发及调用功能

在这里插入图片描述
关注公众号,回复“工具调用”获取代码。

背景

博主之前研究的是ChatGLM3模型,该模型提供了Openai方式调用工具的代码。但后续转到Qwen1.5模型后,好像不可以直接用Openai接口的方式调用工具了。
然后,博主研究了Qwen-Agent框架,实现了自定义工具:

https://blog.csdn.net/weixin_44455388/article/details/136524354?spm=1001.2014.3001.5501

研究了LangChain框架,实现了自定义工具:

https://blog.csdn.net/weixin_44455388/article/details/136536875?spm=1001.2014.3001.5501

虽然,使用以上框架实现了自定义工具,但是调用工具时,均需要依赖于python环境和以上框架,觉得还是有一定的限制。再加上,博主之前的基于大模型的所有功能(本地知识库、Text2SQL等)均是使用Java调用OpenAI接口实现,没有使用类似langChain这样的python框架。作为倔强的Java程序员,还是想用Java去实现自定义工具。

思路

首先需要封装OpenAIChat对象,对象应包括以下变量:

/*** 使用的模型名称.*/
@Builder.Default
private String model = "gpt-3.5-turbo";/*** 模型的API地址.*/
@Builder.Default
private String endpointUrl = "http://127.0.0.1:8000/";/*** 模型的最大token数.*/
@Builder.Default
private int maxToken = 20000;/*** 模型的temperature.*/
@Builder.Default
private float temperature = 0.9f;/*** 模型的TopP*/
@Builder.Default
private float topP = 0.78f;/*** 是否使用历史记录.*/
private boolean withHistory;/*** 历史记录*/
@Builder.Default
private List<List<?>> history = new ArrayList<>();

OpenAIChat对象中构建工具调用流式问答的方法实现:

/*** 工具流式问答* @param sessionId 会话ID* @param prompt 提示词* @param baseTools 工具* @return*/
@Override
public Flux<String> streamChatWithTools(String sessionId, String prompt, List<BaseTool> baseTools) {String class2Json = buildClass2Json(new BaseTool());String finalPrompt = String.format("你是一个AI助手,我会给你一个工具对象集合,工具对象包括name(工具名)、description(工具描述)、params(工具参数)。" +"你可以结合工具对象,从用户的问句中提取到关键词,确定要实现用户的任务应该喧杂哪个工具对象。" +"用户的任务是:%S。" +"工具对象集合是:%s。" +"您的响应结果必须为JSON格式,并且不要返回任何不必要的解释,只提供遵循此格式的符合RFC8259的JSON响应。以下是输出必须遵守的JSON Schema实例:```%s```",prompt, JSON.toJSONString(baseTools), class2Json);String funcParams = chat(finalPrompt);funcParams = JSON.parseObject(funcParams, OpenAIChatResponse.class).getChoices().get(0).getMessage().getContent();funcParams = funcParams.substring(funcParams.indexOf("{"), funcParams.lastIndexOf("}")+1);String toolResult = LoadFunctions.load(JSON.parseObject(funcParams, BaseTool.class));LOG.info("工具调用结果为:"+toolResult);String promptFormat = String.format("基于以下内容:{%s}。请回答:{%s}", toolResult, prompt);Flux<String> stringFlux = streamChat(sessionId, promptFormat);return stringFlux;
}

创建一个自定义工具类,所有的工具都在这里实现,我这里创建了三个工具(查询天气、返回一个UUID、查询手机号的归属地):

public class FunctionCaller {/*** 查询天气API** @param params* @return*/public String getWeather(Map<String,Object> params) {String cityName = params.get("cityName").toString();if (cityName == null || cityName.isEmpty()) {throw new IllegalArgumentException("City name must not be null or empty");}OkHttpClient client = new OkHttpClient.Builder().connectTimeout(60, TimeUnit.SECONDS).writeTimeout(60, TimeUnit.SECONDS).readTimeout(60, TimeUnit.SECONDS).build();try {Map<String, String> headers = new HashMap<>(16);headers.put("Content-Type", "application/json");Request.Builder builder = new Request.Builder().url("https://wttr.in/" + cityName + "?format=j1");builder.headers(Headers.of(headers));builder.method("GET", null);Request request = builder.build();Response response = client.newCall(request).execute();if (response.isSuccessful()) {ResponseBody responseBody = response.body();JSONObject jsonObject = JSONObject.parseObject(responseBody.string());JSONObject weatherData = new JSONObject();// Extract the desired weather data from the JSON responseJSONArray currentCondition = jsonObject.getJSONArray("current_condition");JSONObject firstEntry = currentCondition.getJSONObject(0);weatherData.put("temp_C", firstEntry.getString("temp_C"));weatherData.put("FeelsLikeC", firstEntry.getString("FeelsLikeC"));weatherData.put("humidity", firstEntry.getString("humidity"));weatherData.put("weatherDesc", firstEntry.getString("weatherDesc"));weatherData.put("observation_time", firstEntry.getString("observation_time"));weatherData.put("cityName", params.get("cityName").toString());return weatherData.toString();} else {throw new HttpRuntimeException("Failed.接口访问失败");}} catch (IOException e) {e.printStackTrace();return "Error encountered while fetching weather data!";}}/*** 随机获取一个uuid* @return*/public String getUuid(Map<String,Object> params){return UUID.randomUUID().toString();}/*** 查询手机号的归属地* @param params* @return*/public String getMobileAddress(Map<String,Object> params) {String mobileNum = params.get("mobileNum").toString();try {OkHttpClient client = new OkHttpClient.Builder().connectTimeout(60, TimeUnit.SECONDS).writeTimeout(60, TimeUnit.SECONDS).readTimeout(60, TimeUnit.SECONDS).build();MediaType mediaType = MediaType.parse("application/x-www-form-urlencoded");RequestBody body = RequestBody.create(mediaType, "mobile="+mobileNum);Request request = new Request.Builder().url("https://eolink.o.apispace.com/teladress/teladress").method("POST",body).addHeader("X-APISpace-Token","v1a524e7ctm4h87ilxxxxxxxxxxxxx").addHeader("Content-Type","").build();Response response = client.newCall(request).execute();if (response.isSuccessful()) {ResponseBody responseBody = response.body();return responseBody.string();} else {throw new HttpRuntimeException("Failed.接口访问失败");}} catch (Exception e) {e.printStackTrace();return "Error fetching mobile address: " + e.getMessage();}}
}

然后,采用反射的方式调用这些工具:

/*** 通过反射机制调用函数* @param methodName* @param jsonNode* @return*/
public static Object reflect(String methodName, Map<String,String> jsonNode){FunctionCaller functionCaller = new FunctionCaller();Method method = ReflectUtil.getMethod(FunctionCaller.class, methodName, new Class[]{Map.class});try {Object invoke = method.invoke(functionCaller, jsonNode);return invoke;} catch (IllegalAccessException e) {LOG.error("FunctionReflect reflect occur illegal access exception,method name = {},jsonNode = {}",methodName,jsonNode,e);throw new RuntimeException(e);} catch (InvocationTargetException e) {LOG.error("FunctionReflect reflect occur invocation target exception,method name = {},jsonNode = {}",methodName,jsonNode,e);throw new RuntimeException(e);}
}

调用的时候,将所有的工具集合作为参数,传入OpenAIChat的streamChatWithTools方法:

public static void test2(){BaseTool baseTool = new BaseTool();baseTool.setName("getWeather");Map<String,String> map = new HashMap<>(16);map.put("cityName","城市");baseTool.setParams(map);baseTool.setDescription("查询天气工具");BaseTool baseTool1 = new BaseTool();baseTool1.setName("getUuid");baseTool1.setDescription("获取UUID");baseTool1.setParams(null);BaseTool baseTool2 = new BaseTool();baseTool2.setName("getMobileAddress");baseTool2.setDescription("查询手机号归属地");Map<String,String> map2 = new HashMap<>(16);map2.put("mobileNum","手机号");baseTool2.setParams(map2);List<BaseTool> baseTools = Arrays.asList(baseTool,baseTool1,baseTool2);OpenAIChat openAIChat = OpenAIChat.builder().endpointUrl("http://127.0.0.1:11434/v1/chat/completions").model("qwen:7b-chat-v1.5-q5_K_M").build().init();Flux<String> stringFlux = openAIChat.streamChatWithTools("112233","查询北京的天气", baseTools);stringFlux.subscribe();//System.out.println(s);
}

然后就可以实现工具调用了:
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/289048.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Stable Diffusion XL之核心基础内容

Stable Diffusion XL之核心基础内容 一. Stable Diffusion XL核心基础内容1.1 Stable Diffusion XL的主要优化1.2 SDXL整体架构初识1.3 VAE模型1.VAE基本介绍2. VAE基本模型结构3.VAE的训练 1.4 U-Net模型&#xff08;Base部分&#xff09;1. 十四个基本模块概述2. SDXL_Spatia…

[Linux_IMX6ULL驱动开发]-基础驱动

驱动的含义 如何理解嵌入式的驱动呢&#xff0c;我个人认为&#xff0c;驱动就是嵌入式上层应用操控底层硬件的桥梁。因为上层应用是在用户态&#xff0c;是无法直接操控底层的硬件的。我们需要利用系统调用&#xff08;open、read、write等&#xff09;&#xff0c;进入内核态…

tensorflow安装以及在Anaconda中安装使用

在遥感领域进行深度学习时&#xff0c;通常使用python进行深度学习&#xff0c;会使用到tensorflow的安装&#xff0c;今天小编就给大家介绍如何在Anaconda中安装tensorflow&#xff01; 下载Anaconda Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open…

【数据分享】1981-2023年全国各城市逐日、逐月、逐年平均气温(shp格式)

气象数据是我们在各种研究中都会使用到的基础数据&#xff0c;之前我们分享了Excel格式的1981-2023年全国各城市的逐日、逐月、逐年平均气温数据&#xff08;可查看之前的文章获悉详情&#xff09;。 好多小伙伴拿到数据后问我们有没有GIS矢量格式的该数据&#xff0c;我们专门…

C语言二叉树和堆(个人笔记)

二叉树和堆 二叉树1二叉树的概念和结构1.1特殊的二叉树1.2二叉树的性质&#xff08;规定根节点的层数为1&#xff09;1.3二叉树的存储结构 2.二叉树的顺序结构和实现2.1二叉树的顺序结构2.2堆的概念和结构2.3堆的实现2.4堆的应用2.4.1堆排序 2.5TOP-K问题 3.二叉树的遍历4.二叉…

国赛大纲解读

1. 第一部分,是针对5G基础知识的掌握,第二部分是人工智能基本算法的掌握,就是人工智能的应用,用5G+人工智能(AI算法)进行网络优化的问题,要有网络优化的基础知识,比如说:某个区域的覆盖问题,覆盖特别差,但有数据,覆盖电频,srp值这些数据给你,根据数据来判断是…

openssl AF_ALG引擎使用

cmd AF_ALG是Linux提供的一种虚拟接口&#xff0c;用于访问内核中的加密算法。在Linux中&#xff0c;可以使用AF_ALG接口配合加密算法框架&#xff08;Crypto API&#xff09;来进行加密操作。 以下是一个使用AF_ALG和openssl进行加密操作的例子&#xff1a; # 加密 openssl…

我的编程之路:从非计算机专业到Java开发工程师的成长之路 | 学习路线 | Java | 零基础 | 学习资源 | 自学

小伙伴们好&#xff0c;我是「 行走的程序喵」&#xff0c;感谢您阅读本文&#xff0c;欢迎三连~ &#x1f63b; 【Java基础】专栏&#xff0c;Java基础知识全面详解&#xff1a;&#x1f449;点击直达 &#x1f431; 【Mybatis框架】专栏&#xff0c;入门到基于XML的配置、以…

Win10或Win11系统下西门子TIA博途运行时卡顿缓慢的解决办法总结

Win10或Win11系统下西门子TIA博途运行时卡顿缓慢的解决办法总结 首先,可以看下TIA PORTAL V19的安装条件: 处理器:Intel i5-8400H,2.5-4.2GHZ,4核以上+超线程技术,智能缓存; 内存:至少16GB,大型项目需要32GB 硬盘:必须SSD固态硬盘,至少50GB的可用空间 图形分辨率:1…

PostgreSQL FDW(外部表) 简介

1、FDW: 外部表 背景 提供外部数据源的透明访问机制。PostgreSQL fdw(Foreign Data Wrapper)是一种外部访问接口,可以在PG数据库中创建外部表,用户访问的时候与访问本地表的方法一样,支持增删改查。 而数据则是存储在外部,外部可以是一个远程的pg数据库或者其他数据库(…

LVS负载均衡-DR模式配置

LVS&#xff1a;Linux virtual server ,即Linux虚拟服务器 LVS自身是一个负载均衡器&#xff08;Director&#xff09;&#xff0c;不直接处理请求&#xff0c;而是将请求转发至位于它后端的真实服务器real server上。 LVS是四层&#xff08;传输层 tcp/udp&#xff09;负载均衡…

数据结构——二叉搜索树详解

一、二叉搜索树定义 二叉搜索树又称二叉排序树&#xff0c;它或者是一棵空树&#xff0c;或者是具有以下性质的二叉树: 1.非空左子树上所有节点的值都小于根节点的值。 2.非空右子树上所有节点的值都大于根节点的值。 3.左右子树也都为二叉搜索树。 如下图所示&#xff1a…

振弦采集仪在预防地质灾害监测中的作用与应用前景

振弦采集仪在预防地质灾害监测中的作用与应用前景 振弦采集仪&#xff08;String Vibrating Sensor&#xff0c;简称SVM&#xff09;是一种用于地质灾害监测的重要仪器&#xff0c;它通过测量地面振动信号来预测和预警地质灾害的发生。SVM的作用在于提供实时、准确的地质灾害监…

vue3+ts+element home页面侧边栏+头部组件+路由组件组合页面教程

文章目录 效果展示template代码script代码样式代码 效果展示 template代码 <template><el-container class"home"><el-aside class"flex" :style"{ width: asideDisplay ? 70px : 290px }"><div class"aside-left&q…

深度学习语义分割篇——DeepLabV1原理详解篇

&#x1f34a;作者简介&#xff1a;秃头小苏&#xff0c;致力于用最通俗的语言描述问题 &#x1f34a;专栏推荐&#xff1a;深度学习网络原理与实战 &#x1f34a;近期目标&#xff1a;写好专栏的每一篇文章 &#x1f34a;支持小苏&#xff1a;点赞&#x1f44d;&#x1f3fc;、…

数据库是怎么做到事务回滚的呢?

数据库实现事务回滚的原理涉及到数据库管理系统&#xff08;DBMS&#xff09;如何维护事务的一致性和持久性。 基本原理&#xff1a; ACID属性&#xff1a;事务的原子性&#xff08;Atomicity&#xff09;、一致性&#xff08;Consistency&#xff09;、隔离性&#xff08;Iso…

【Linux】从零开始认识进程 — 中下篇

送给大家一句话&#xff1a; 人一切的痛苦&#xff0c;本质上都是对自己无能的愤怒。而自律&#xff0c;恰恰是解决人生痛苦的根本途径。—— 王小波 从零认识进程 1 进程优先级1.1 什么是优先级1.2 为什么要有优先级1.3 Linux优先级的特点 && 查看方式1.4 其他概念 2…

c++的学习之路:5、类和对象(1)

一、面向对象和面向过程 在说这个定义时&#xff0c;我就拿c语言举例&#xff0c;在c语言写程序的时候&#xff0c;基本上就是缺什么函数&#xff0c;就去手搓一个函数&#xff0c;写的程序也只是调用函数的&#xff0c;而c就是基于面向对象的开发&#xff0c;他关注的不再是单…

picgo启动失败解决

文章目录 报错信息原因分析解决方案 报错信息 打开Picgo&#xff0c;显示报错 A JavaScript error occurred in the main process Uncaught Exception: Error:ENOENT:no such file or directory,open ‘C:\Users\koko\AppData\Roaming\picgo\data.json\picgo.log’ 原因分析…

[iOS]GCD(一)

[iOS]GCD(一) 文章目录 [iOS]GCD(一)GCD的概要GCD的APIDispatch Queuedispatch_queue_createMain Dispatch Queue和 Global Dispatch Queue.Main Dispatch_set_target_queuedispatch_afterDispatch Groupdispatch_barrier_asyncdispatch_applydispatch_applydispatch_suspend/d…