谷歌推出Flax:JAX的神经网络库

在优化理论中,损失或成本函数测量拟合或预测值与实际值之间的距离。对于大多数机器学习模型,提高性能意味着最小化损失函数。

但对于深度神经网络,执行梯度下降以最小化每个参数的损失函数可能会消耗大量资源。传统方法包括手动推导和编码,或使用 TensorFlow 等机器学习框架的句法和语义约束实现神经模型。

但是,如果可以使用 NumPy 库简单地写下损失函数并自动完成工作呢?这是JAX的工作 - 谷歌在2018年推出的即时编译器,它使用Autograd和XLA(加速线性代数),可以通过大量的Python功能(如ifs,循环,递归和闭包)自动区分原生Python和NumPy代码。JAX 还允许通过跨多个加速器(如 GPU 和 TPU)自动并行化代码来实现快速科学计算。

更进一步,谷歌最近推出了Flax——一个用于JAX的神经网络库,专为灵活性而设计。Flax可以通过从其官方GitHub存储库中分叉一个示例来训练神经网络。在修改模型时,开发人员不再需要向框架添加功能,他们可以简单地修改训练循环(例如train_step设置)即可达到相同的结果。Flax的核心是围绕称为模块的参数化函数构建的,这些函数覆盖了应用,可以用作普通函数。

from flax import nn
import jax.numpy as jnpclass Linear(nn.Module):def apply(self, x, num_features, kernel_init_fn):input_features = x.shape[-1]W = self.param('W', (input_features, num_features), kernel_init_fn)return jnp.dot(x, W)

在这里插入图片描述

用于定义学习线性变换的亚麻代码。

亚麻的发布在社交媒体上引起了轰动。NVIDIA Anima Anandkumar 的机器学习研究总监在推特上发布了 Flax GitHub 链接,并补充说:“我们使用 CGD 来训练 GAN 和 RL 中的约束问题。这个库将非常有用。谷歌大脑研究科学家David Ha(推特名称hardmaru)也支持新的存储库。

对于那些有兴趣尝试亚麻的人来说,目前有三个例子可供测试:MNIST,一个手写数字数据库,主要用作手写数字识别任务;ResNet,一种用于图像识别的深度残差学习架构,在ImageNet中训练,主要用于测量大规模集群计算能力;和 1 亿字语言模型基准测试,这是语言建模实验的标准训练和测试设置。

Flax团队还呼吁开发人员帮助构建额外的端到端示例,例如翻译,语义分割,GAN,VAE等。

Google Research: Flax存储库位于GitHub上。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/82086.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

nginx部署以及反向代理多域名实现HTTPS访问

nginx部署以及反向代理多域名实现 1.nginx部署 1.1 编写nginx部署文件 docker-compose.yml version: 3 services: nginx:restart: always image: nginx:1.20container_name: nginx-mainports:- 80:80- 443:443volumes: # 基础配置- /opt/nginx_main/nginx-info/nginx.conf:/…

【枚举】CF1706 C

有人一道1400写了一个小时 Problem - C - Codeforces 题意: 思路: 首先先去观察样例: 很显然,对于n是奇数的情况,只有一种情况,直接操作偶数位就好了 主要是没搞清楚n是偶数的情况 其实有个小技巧&…

SQL 相关子查询 和 不相关子查询、Exists 、Not Exists、 多表连接(包含自连接)

不相关子查询 子查询的查询条件不依赖于父查询,称不相关子查询。子查询可以单独运行的 select stu_id,sex,age from student t where sex(select sexfrom studentwhere stu_id10023 )相关子查询 关联子查询 子查询的查询条件依赖于父查询,称为 相关子…

protobuf 2定义string常量

背景 protobuf 2中定义的enum枚举值必须为数字类型,故不支持string类型,但有些业务场景又确实需要定义string常量。 目标 在protobuf 2中定义string常量。 方案 思路:通optional default实现string常量。 细节: 1、protobu…

冠达管理:创新药概念强势拉升,康希诺大涨超15%

立异药概念9日盘中强势拉升,到发稿,昊帆生物“20cm”涨停,康希诺大涨超15%,翰宇药业涨近13%,德展健康涨停,泰格医药、药石科技涨超7%。 康希诺昨日晚间公告,8月7日,公司与 AstraZene…

机器学习笔记 - 使用 YOLOv5、O​​penCV、Python 和 C++ 检测物体

一、YOLO v5简述 YOLO v5虽然已经不是最先进的对象检测器,但是YOLOv5 使用了一个简单的卷积神经网络 CNN架构(相对YOLO v8来讲,不过v8精度是更高了一些),更易理解。这里主要介绍如何轻松使用 YOLO v5来识别图像中的对象。将使用 OpenCV、Python 和 C++ 来加载和调用我们的…

Flowable-结束事件-错误结束事件

目录 定义图形标记XML内容界面操作使用示例视频教程 定义 错误结束事件会在流程到达错误结束事件的时候抛出错误,并结束当前的流程分支。异常结束 事件是有抛出结果的,它需要定义抛出错误码,如果找到了异常开始事件错误码,就会触…

Linux中安装Node

安装 先从 官方网站 下载安装包,有时 node 版本太新会导致失败,详见下方的常见问题第2点 cd /home // 创建目录,将下载好的 node 安装包上传到此目录 mkdir Download mkdir /usr/local/lib/node解压 // 解压,前面是文件当前路径…

在excel调用SAP函数执行SAP数据查找或提交

1、下载插件 2、安装插件 3、执行函数 3.1 第一步 通过SAPRegister连接SAP服务器 var reg SAPRegister("10.10.14.15", "00", "mes", "AQ123456", "800") 需要改为实际的连接信息 "10.10.14.15" 为SAP服务器I…

IDEA 指定spring.profiles.active本地启动

spring.profiles.activedev spring.profiles.activepro

20230809在WIN10下使用python3将DOCX文件转换为TXT文件

20230809在WIN10下使用python3将DOCX文件转换为TXT文件 2023/8/9 11:38 python docx txt https://blog.51cto.com/u_16175446/6620474 如何实现Python读取word内容转为TXT的具体操作步骤 如何实现Python读取word内容转为TXT的具体操作步骤 原创 mob649e81576de12023-07-04 14:0…

为什么会觉得CSS比JavaScript难?

前言 是的,就像你问题中描述的,“用起来没有底,有填不完的坑”,这大概就是css难的地方,因为css关乎的是页面整体的一个ui设计,暂且不说本身关于css的内容是非常繁杂的,主要是页面的设计是考验创…

flutter开发实战-实现首页分类目录入口切换功能

。 在开发中经常遇到首页的分类入口,如美团的美食团购、打车等入口,左右切换还可以分页更多展示。 一、使用flutter_swiper_null_safety 在pubspec.yaml引入 # 轮播图flutter_swiper_null_safety: ^1.0.2二、实现swiper分页代码 由于我这里按照一页8…

Element的el-select下拉框多选添加全选功能

先看效果图 全选: 没有选中时: 选中部分: 作者项目使用的是vue3写法,如果是vue2的自己转换一下 html代码: js代码: 拓展 另一种方法,如果不想使用勾选框,可以试试下面的方…

PPG心率血氧检测健康型沙发方案

《中国心血管健康与疾病报告2021》数据显示,我国心血管病患病人数已达 3.3 亿。目前,心脑血管病 死亡占城乡居民总死亡原因的首位,农村为46.7%,城市为44%。老年人是心脑血管病的主要发病体,老年 人患心脑血管病的几率较…

2023牛客暑期多校训练营7-c-Beautiful Sequence

思路: ,则有,也就是说只要知道A1就可以求任意A。由于A是升序排列,所以对于任意,二进制所包含1的最高位第k位来说,表明与第k位相反,要大一些,所以它的第k位为1,的第k位为…

问题解决和批判性思维是软件工程的重要核心

软件工程的重心在于问题解决和批判性思维(合理设计和架构降低复杂度),而非仅局限于编程。 许多人误以为软件工程就只是编程,即用编程语言编写指令,让计算机按照这些指令行事。但实际上,软件工程的内涵远超…

85. 最大矩形

题目描述 给定一个仅包含 0 和 1 、大小为 rows x cols 的二维二进制矩阵,找出只包含 1 的最大矩形,并返回其面积。 示例 1: 输入:matrix [["1","0","1","0","0"],["1…

HBase Shell 操作

1、基本操作 1.1、进入HBase客户端命令行 前提是先启动hadoop集群和zookeeper集群。 bin/hbase shell 1.2、查看帮助命令 helphelp 查看指定命令的语法规则 查看 list_namespace 的用法(‘记得加单引号’) help list_namespace 2、namespace 我们…

python文件操作

文章目录 一 文件的编码认识二 python文件操作2.1 open()打开函数2.2 mode常用的访问模式2.3 open函数的文件对象2.4 文件读操作2.5 练习案例:单词计数 三 文件的写入四 操作综合案例4.1 需求4.2 实现思路4.3 参考代码1.04.4 参考代码2.0 一 文件的编码认识 文件编码…