文心一言 4.0 ERNIE-Bot 4.0 :ERNIE-Bot 4.0 大模型深度测试体验报告

本心、输入输出、结果

文章目录

  • 文心一言 4.0 ERNIE-Bot 4.0 :ERNIE-Bot 4.0 大模型深度测试体验报告
    • 前言
      • 相关跳转
        • 文心一言 4.0 ERNIE-Bot 4.0 接口简介
        • Bash 请求示例代码
        • Windows 模式
        • 使用 Python 请求
        • 如果直接使用官方提供的代码
        • 文心一言 4.0 ERNIE-Bot 4.0 API 在线调试平台
        • 前提条件:创建一个应用
        • 在线测试
      • 进行问题测试
        • 反应速度
        • 常识推理
        • 中文理解
        • 生蚝问题
        • 数学计算
        • 代码
      • ERNIE-Bot 4.0 大模型深度测试体验报告:总结
      • 其它内容
      • 弘扬爱国精神

文心一言 4.0 ERNIE-Bot 4.0 :ERNIE-Bot 4.0 大模型深度测试体验报告


编辑:简简单单 Online zuozuo
地址:https://blog.csdn.net/qq_15071263

在这里插入图片描述

前言

百度文心一言 4.0 :如何申请百度文心一言 4.0

昨天申请的 文心一言 4.0 ERNIE-Bot 4.0 测试资格,目前已经拿到,我们将开始对 文心一言 4.0 ERNIE-Bot 4.0 进行一些体验测试

在这里插入图片描述

在这里插入图片描述

相关跳转

文心一言 4.0 ERNIE-Bot 4.0 ,目前对于申请的人员,只提供了 API 测试通道,所以我们需要 API 文档

文心一言 4.0 ERNIE-Bot 4.0 API 对接文档

文心一言 4.0 ERNIE-Bot 4.0 接口简介

该接口调用 = 发起一次对话请求

本接口返回不支持图片内容

接口地址为:POST
https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro

在这里插入图片描述

接口文档 如何获取 Access_Token

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Bash 请求示例代码

# 步骤一,获取access_token,替换下列示例中的API Key与Secret Key
curl 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[API Key]&client_secret=[Secret Key]'# 步骤二,调用本文API,使用步骤一获取的access_token,替换下列示例中的”调用接口获取的access_token“
curl -X POST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=[步骤一调用接口获取的access_token]' -d '{"messages": [{"role":"user","content":"介绍一下你自己"}]
}' | iconv -f utf-8 -t utf-8

这是最简单的调用 API 的方式

Windows 模式

日常我们使用 Windows 进行工作的时候,一般使用 PowerShell,那么 Bash 脚本就不适合我们,所以我写了一个 PowerShell 脚本给大家使用

Invoke-WebRequest -Uri 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[这里填写你的 API KEY]&client_secret=[这里填写你的 API Secret]'   | Select-Object -ExpandProperty Content |  ConvertFrom-Json | ConvertTo-Json -Depth 100

如图,我们就拿到了我们需要的内容

在这里插入图片描述

发起沟通请求的 Windows PowerShell 脚本

Invoke-WebRequest -Uri 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=【你的 TOKEN】' -Body '{"messages":[{"role":"user","content":"你好"}]}' -Method Post -ContentType 'application/json;charset=utf-8'  | Select-Object -ExpandProperty Content |  ConvertFrom-Json | ConvertTo-Json -Depth 100

以下为正常测试返回结果
在这里插入图片描述

使用 Python 请求

这里我再贴一下 Python 版本的代码,官方提供的 Python 代码参数上有点问题,我已经修复了

import requests
import jsonAPI_KEY = "你的AK"
SECRET_KEY = "你的SK"def main():url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=" + get_access_token()payload = json.dumps({"messages": [{"role": "user","content": "你好"}]})headers = {'Content-Type': 'application/json'}response = requests.request("POST", url, headers=headers, data=payload)print(json.dumps(json.loads(response.text), indent=4, ensure_ascii=False))def get_access_token():"""使用 AK,SK 生成鉴权签名(Access Token):return: access_token,或是None(如果错误)"""url = "https://aip.baidubce.com/oauth/2.0/token"params = {"grant_type": "client_credentials", "client_id": API_KEY, "client_secret": SECRET_KEY}return str(requests.post(url, params=params).json().get("access_token"))if __name__ == '__main__':main()

测试结果是正确的
在这里插入图片描述

如果直接使用官方提供的代码

如果直接使用官方提供的代码会报错,包括官方的调试口子也是会报错的

在这里插入图片描述

报错返回的 336006 the length of messages must be an odd number ,文档中也没有说明

代码调试结果

在这里插入图片描述

技术文档中,也没有对 336006 的解释

在这里插入图片描述

报错的主要原因是:这里的 message 只能携带奇数个参数

在这里插入图片描述
参考这个说明
在这里插入图片描述

文心一言 4.0 ERNIE-Bot 4.0 API 在线调试平台

虽然只提供了 API 模式,但是我们依然可以利用提供的 API 调试平台直接可视化的使用 文心一言 4.0 ERNIE-Bot 4.0

文心一言 4.0 ERNIE-Bot 4.0 API 在线调试平台

页面如下,我们可以直接进行对话

在这里插入图片描述

前提条件:创建一个应用

我们需要在控制台先新建一个应用

在这里插入图片描述

在线测试

计费管理中,文心一言 4.0 ERNIE-Bot 4.0 已经免费了,但是实际上,官方并没有完善好在线测试的通道

在这里插入图片描述

我们去在线调试里面,是找不到 文心一言 4.0 ERNIE-Bot 4.0 的资源的,其它的都需要付费

在这里插入图片描述

在这里插入图片描述

进行问题测试

测试思路

  • 反应速度
  • 常识推理
  • 中文理解
  • 生蚝问题
  • 数学计算
  • 代码
反应速度

实测反应速度还是比较慢的,平均需要 3-5 秒

常识推理

中国:三个字命名的城市

理解正确,没有把上海市之类的理解为三个字的

在这里插入图片描述

GPT-4

在这里插入图片描述

国内代理 GPT-4 的(高级账户)

在这里插入图片描述

中文理解

理解:上海自来水来自海上

结果并不理想

在这里插入图片描述

生蚝问题

生蚝煮熟了叫什么

他也觉得可以叫熟蚝,但是他知道还是生蚝

GPT-4 会直接认为煮熟了,就不叫生蚝了

在这里插入图片描述

数学计算

两个完全一样的梯形拼成一个平行四边形,这个平行四边形的面积是280cm,高是35cm,每个梯形的上底、下底之和是多少cm

在这里插入图片描述

代码

使用Python代码生成一个长度为10的随机字符串。

在这里插入图片描述

我们直接复制并运行一下这段代码,是可以直接运行的

在这里插入图片描述

在这里插入图片描述

ERNIE-Bot 4.0 大模型深度测试体验报告:总结

真的已经很惊艳了,比预期值是要高出很多的,唯一不足的地方就是目前响应速度实在是有点慢,不知道是不是测试阶段部署的算力资源不足的问题

在这里插入图片描述

其它内容

测试版本的内容里面,还没有提供图片、插件等能力,不知道到时候的结果如何

目前图片生成能力,还没有接入 文心一言 4.0 ERNIE-Bot 4.0

在这里插入图片描述

我们看看 文心一言 3.5 的表现

在这里插入图片描述

弘扬爱国精神

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/162478.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

最新百度统计配置图文教程,获取siteId、百度统计AccessToken、百度统计代码教程

一、前言 很多网友开发者都不知道百度统计siteId、百度统计token怎么获取,在网上找的教程都是几年前老的教程,因此给大家出一期详细百度统计siteId、百度统计token、百度统计代码获取详细步骤教程。 二、登录到百度统计 1.1 登录到百度统计官网 使用…

服务日志性能调优,由log引出的巨坑

只有被线上服务问题毒打过的人才明白日志有多重要! 谁赞成,谁反对?如果你深有同感,那恭喜你是个社会人了:) 日志对程序的重要性不言而喻,轻巧、简单、无需费脑,程序代码中随处可见…

Ubuntu:Arduino IDE 开发环境配置【保姆级】

物联网开发学习笔记——目录索引 本章主要介绍在Ubuntu系统搭建Arduino IDE 开发环境,windows系统请移步:Windows:Arduino IDE 开发环境配置【保姆级】 参考官网:Arduino - Home 有关更多详细信息,请参阅 Arduino I…

Centos7 安装 MySQL5.7 步骤

Centos7 安装 MySQL5.7 步骤 前言:一 .使用yum源方式安装1、卸载系统自带 mariadb查看并卸载系统自带的 Mariadb 2、下载并安装MySQL官方的 Yum2.1 下载mysql的yum源配置2.2 安装mysql的yum源2.3 使用yum方式安装mysql2.3.1 安装过程中报错解决问题描述解决方案 3、…

python爬虫练习,爬取iview,element组件库图标名称

简单的爬虫 先举一个爬取图片网站图片保存到本地文件夹的例子 原博客:http://t.csdnimg.cn/Cjv3o 这是一个图片网站 https://pic.netbian.com/ 在空白处右键,查看页面源代码,我们发现有具体内容的 我们使用下面的代码可以爬取这个页面所…

如何使用Python抓取PDF文件并自动下载到本地

目录 一、导入必要的库 二、发送HTTP请求并获取PDF文件内容 三、将PDF文件内容写入到本地文件中 四、完整代码示例 五、注意事项 六、错误处理和异常处理 七、进一步优化 总结 在Python中,抓取PDF文件并自动下载到本地需要使用几个不同的库。首先&#xff0…

工业交换机的应用场景

在选择工业交换机的时候,很多人会疑惑自己的场景是否适用工业交换机,工业交换机广泛应用于以下场景,大家可以参考了解 1. 工业自动化:工业交换机用于连接各种工业设备,如PLC(可编程逻辑控制器)、…

MSQL系列(四) Mysql实战-索引 Explain实战

Mysql实战-索引 Explain实战 前面我们讲解了索引的存储结构,我们知道了BTree的索引结构,也了解了索引最左侧匹配原则,到底最左侧匹配原则在我们的项目中有什么用?或者说有什么影响?今天我们来实战操作一下&#xff0c…

IDEA如何拉取gitee项目?

1.登录gitee 说明:打开idea,在设置上面搜索框输入gitee,然后登录gitee注册的账号。 2. 创建gitee仓库 说明:创建idea中的gitee仓库。 3.寻找项目文件 说明:为需要添加gitee仓库的项目进行添加。 4.项目右键 说明&a…

百度地图高级进阶开发:圆形区域周边搜索地图监听事件(覆盖物重叠显示层级\图像标注监听事件、setZIndex和setTop方法)

百度地图API 使用百度地图API添加多覆盖物渲染时,会出现覆盖物被相互覆盖而导致都无法触发它们自己的监听;在百度地图API里,map的z-index为0,但是触发任意覆盖物的监听如click时也必定会触发map的监听; 项目需求 在…

L2-030 冰岛人

2018年世界杯,冰岛队因1:1平了强大的阿根廷队而一战成名。好事者发现冰岛人的名字后面似乎都有个“松”(son),于是有网友科普如下: 冰岛人沿用的是维京人古老的父系姓制,孩子的姓等于父亲的名加后缀&#x…

AI系统ChatGPT源码+详细搭建部署教程+支持GPT4.0+支持ai绘画(Midjourney)/支持OpenAI GPT全模型+国内AI全模型

一、AI创作系统 SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统AI绘画系统,支持OpenAI GPT全模型国内AI全模型。本期针对源码系统整体测试下来非常完美,可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署…

基于梯度优化的BP神经网络(分类应用) - 附代码

基于梯度优化的BP神经网络(分类应用) - 附代码 文章目录 基于梯度优化的BP神经网络(分类应用) - 附代码1.鸢尾花iris数据介绍2.数据集整理3.梯度优化BP神经网络3.1 BP神经网络参数设置3.2 梯度算法应用 4.测试结果:5.M…

一、初识 Elasticsearch:概念,安装,设置分词器

文章目录 01、初识 Elasticsearch正向索引和倒排索引索引MySQL与ES的概念映射安装ES分词器分词器的设置结束语 01、初识 Elasticsearch 本次ES基于:7.12.1 版本 学习资源为:https://www.bilibili.com/video/BV1Gh411j7d6 什么是ES(Elastics…

解决jmeter软件显示为英文、返回数据乱码、设置编码格式的问题

一.jmeter软件每次打开都需要手动切换中文 1.修改配置文件,可以把jmeter设置成中文: 2.打开jmeter.properties配置文件,修改languagezh_CN 二.返回数据乱码 改配置文件 进入Jmeter的bin目录下,找到jmeter.properties文件&#…

Java构建Web项目

对无底线服务型的系统,业务代码和界面代码脚本化是及其重要的。一是脚本化能确保部署本地就是再用的代码,不存在为每个项目管理代码的问题。然后脚本化不需要人为编译和投放程序库。极大的简化维护难度和成本。能不能脚本化直接决定了能否全面铺开运维&a…

【爬虫教程】2023最详细的爬虫入门教程~

初识爬虫 学习爬虫之前,我们首先得了解什么是爬虫。 来自于百度百科的解释: 网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则&a…

React之受控组件和非受控组件以及高阶组件

一、受控组件 受控组件,简单来讲,就是受我们控制的组件,组件的状态全程响应外部数据 举个简单的例子: class TestComponent extends React.Component {constructor (props) {super(props);this.state { username: lindaidai }…

Java版本+企业电子招投标系统源代码+支持二开+招投标系统+中小型企业采购供应商招投标平台

功能模块: 待办消息,招标公告,中标公告,信息发布 描述: 全过程数字化采购管理,打造从供应商管理到采购招投标、采购合同、采购执行的全过程数字化管理。通供应商门户具备内外协同的能力,为外部供…

轻量级超分网络:Edge-oriented Convolution Block for Real-timeMM21_ECBSR 和 eSR

文章目录 ECBSR(Edge-oriented Convolution Block for Real-timeMM21_ECBSR)1. 作者目的是开发一个高效的适合移动端的超分网络。2. 作者决定使用plain net ,但是效果不好,因此利用重参数化方法,丰富特征表示。3. re-p…