FANformer:融合傅里叶分析网络的大语言模型基础架构

近期大语言模型(LLM)的基准测试结果引发了对现有架构扩展性的思考。尽管OpenAI推出的GPT-4.5被定位为其最强大的聊天模型,但在多项关键基准测试上的表现却不及某些规模较小的模型。DeepSeek-V3在AIME 2024评测中达到了39.2%的Pass@1准确率,在SWE-bench Verified上获得42%的准确率,而GPT-4.5在这两项基准测试上的得分分别仅为36.7%和38%。

DeepSeek-V3与其他LLM的性能对比(数据来源:ArXiv研究论文《DeepSeek-V3 Technical Report》)

GPT-4.5与其他OpenAI模型的性能对比(数据来源:OpenAI博客文章《Introducing GPT-4.5》)

这一现象促使研究者思考:现有的LLM架构是否需要根本性的改进以实现更高水平的扩展性能?

研究人员最近提出的FANformer架构为这一问题提供了一个可能的解决方案。该架构通过将傅里叶分析网络(Fourier Analysis Network, FAN)整合到Transformer的注意力机制中,形成了一种创新的模型结构。实验数据显示,随着模型规模和训练数据量的增加,FANformer始终表现出优于传统Transformer架构的性能。特别值得注意的是,拥有10亿参数的FANformer模型在性能上超过了同等规模和训练量的开源LLM。

本文将深入探讨FANformer的工作原理及其架构创新,分析使其在性能上超越传统Transformer的关键技术要素。

傅里叶分析网络基础

标准深度神经网络(MLP)在捕获和建模训练数据中的大多数模式方面表现良好,但在处理数据中的周期性模式时存在明显的不足。由于实际数据中通常包含隐含的周期性特征,这一局限性会影响传统神经网络的学习效率。

下图展示了一个典型案例,即使在充足的训练资源条件下,Transformer也难以有效地对简单的mod函数进行建模。

傅里叶分析网络(FAN)通过将傅里叶分析原理直接整合到神经网络结构中,有效解决了这一问题。如下图所示,相较于MLP、KAN和Transformer,FAN能够更准确地对周期性sin函数进行建模。

FAN层可通过以下数学公式表示:

其中:

  • X为输入数据
  • W(p)W(p̄)为可学习的投影矩阵
  • B(p̄)为偏置项
  • σ表示非线性激活函数
  • ||表示向量连接操作

与MLP层应用简单的线性变换后进行非线性激活不同,FAN层明确地将周期性变换(正弦和余弦函数)与线性变换和非线性激活相结合,从而增强了捕获数据中周期性模式的能力。

下图展示了MLP和FAN层在架构和数学表达上的差异:
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

MLP和FAN层的架构差异对比(数据来源:ArXiv研究论文《FAN: Fourier Analysis Networks》)

MLP和FAN层的数学表达差异(数据来源:ArXiv研究论文《FAN: Fourier Analysis Networks》)

FANformer的注意力机制设计

当前主流的LLM基于仅解码器的Transformer架构。FANformer通过从FAN借鉴周期性捕获原理,并将其应用于Transformer架构的注意力机制,形成了一种称为**注意力-傅里叶(ATtention-Fourier, ATF)**模块的新型结构。

对于长度为

l

的输入序列

s = {s(1), s(2), ..., s(l)}

,首先将其映射为输入嵌入

X(0) = {x(1), x(2), ..., x(l)}

。该嵌入通过模型的多个层处理,最终获得输出

X(N)

,其中

N

为模型的总层数。

具体而言,每一层的处理过程如下:

给定输入嵌入

X

,其傅里叶变换表示计算为:

注意,此转换使用经过修改的

FANLayer'

,其中原始

FANLayer

公式中的激活函数

σ

被替换为恒等函数

σ(x) = x

随后,通过线性变换计算查询(Q)、键(K)和值(V):

其中

W(Q)

W(K)

W(V)

为可学习权重矩阵,分别用于计算查询(Q)、键(K)和值(V)。

接下来,使用傅里叶变换后的Q、K和V计算缩放点积注意力:

其中

d(h)

为模型的隐藏维度。

值得注意的是,

ATF(X)

在数学上等价于

Attention(FANLayer′(X))

,这意味着傅里叶变换并不改变注意力机制本身,而是改变了输入表示的计算方式。这种设计使FANformer能够与FlashAttention等高级注意力优化技术兼容。

多头ATF机制实现

注意力模块进一步扩展为多头结构,类似于传统的多头注意力机制。对于给定输入

X

,首先使用ATF模块将其投影到

k

个独立的注意力头:

对于第

i

个注意力头:

  • W(Q)(i)W(K)(i)W(V)(i)为每个头计算查询(Q(i))、键(K(i))和值(V(i))的可学习权重矩阵,计算如下:

  • d(k)为使用k个注意力头时每个头的维度,计算为d(k) = d(h) / k,其中d(h)为模型的隐藏维度。

所有注意力头的输出经过连接后,通过输出权重矩阵(

W(O)

)进行线性变换:

FANformer的整体架构如下图所示:
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

与传统多头注意力对比,传统机制中的查询、键和值直接从输入嵌入计算,而不经过任何傅里叶变换处理:

传统多头注意力机制,其中Q、K、V通过每个头的可学习权重矩阵直接从输入嵌入X计算(数据来源:研究论文《Attention Is All You Need》)

多头ATF的伪代码实现如下:

参数

p

作为一个超参数,控制输入

X

通过周期性(

X_p

)与非周期性分量(

X_p̄

)处理的比例,遵循

FANLayer'

公式。在实验中,

p

默认设置为0.25。

FANformer的层级结构

FANformer通过堆叠

N

个FANformer层构建,每层包含:

  • 一个多头ATF(注意力-傅里叶)模块
  • 一个前馈网络(FFN)模块

多头ATF输出基于前述公式计算:

每层的处理采用预归一化(Pre-Norm)策略处理输入(

X(n)

),并将原始输入添加到从

MultiHeadATF

计算的输出中:

随后前馈网络(FFN)模块对

Y(n)

进行转换:

其中FFN采用SwiGLU激活函数:

其中

W(1)

W(2)

W(3)

为可学习权重矩阵,⊗表示元素级乘法操作。

FANformer性能评估

研究人员通过将ATF模块集成到开源LLM OLMo中构建FANformer,并以OLMo作为基准Transformer模型进行比较。实验使用从OLMo的训练数据集Dolma中采样的tokens,预训练了不同规模的FANformer模型。

模型规模扩展性分析

在模型规模扩展实验中,FANformer在所有参数规模上始终优于标准Transformer,且仅使用标准Transformer 69.2%的参数即可达到相当的性能水平。

研究还评估了一个名为

Transformer + ATM

的FANformer变体,该变体使用MLP层替代FAN层。结果显示,其扩展曲线与标准Transformer非常接近,这表明周期性捕获能力的架构改进是FANformer性能提升的关键因素。

进一步的实验表明,FANformer仅需使用比标准Transformer少20.3%的训练数据即可达到相当的性能水平。

下游任务性能评估

FANformer-1B的零样本(zero-shot)性能与7个相似规模/训练量的开源LLM在8个下游任务基准上进行了对比,这些基准包括:

  • ARC-C和ARC-E(高级推理)
  • BoolQ(布尔问题回答)
  • HellaSwag(常识推理完成)
  • OBQA(开放书籍问题回答)
  • PIQA(物理推理)
  • SCIQ(科学问题回答)
  • WinoGrande(共指消解)

实验结果表明,FANformer-1B在较少训练数据条件下持续优于其他同等参数规模的LLM。特别值得注意的是,FANformer-1B的性能与当前10亿参数级别最先进的LLM之一Qwen2.5-1.5B相当。

研究还将FANformer与从DeepSeek-R1提炼出的模型R1-Distill-Qwen1.5B进行了对比。结果显示,尽管后者在推理任务上表现优异,但在大多数非推理常识任务上无法超越FANformer,这凸显了预训练过程的重要性,并表明模型提炼技术本身不足以确保下游任务上的全面性能优势。

FANformer-1B与其他同等级开源LLM在下游任务上的零样本性能对比

训练动态分析

在训练初期阶段,FANformer的损失下降速度相对较慢,可能是因为模型尚未有效识别数据中的周期性模式。然而,随着训练进行,FANformer的收敛速度超过了标准Transformer。

指令遵循能力评估

预训练的FANformer-1B模型在tulu-3-sft-olmo-2-mixture数据集上进行了监督微调(SFT),形成FANformer-1B-SFT。同样,OLMo的10亿参数版本OLMo-1B-SFT也在相同数据集上进行了监督微调。

这些模型在以下四个基准上进行了评估:

  • MMLU(通用知识和推理能力)
  • TruthfulQA(回答真实性和信息性)
  • AlpacaEval(指令遵循质量)
  • ToxiGen(有害内容过滤能力)

评估结果再次表明,FANformer-1B-SFT在MMLU、AlpacaEval和TruthfulQA基准上的性能优于OLMo-1B-SFT。

FANformer-1B和OLMo-1B的评估结果对比。对于MMLU、AlpacaEval和TruthfulQA,数值越高表示性能越好;对于ToxiGen,数值越低表示性能越好。

数学推理能力分析

2024年的一项研究表明,基于Transformer的LLM主要通过基于案例的推理解决数学问题,即记忆训练数据中的特定示例,并在推理过程中通过寻找相似案例进行泛化。这与基于规则的推理不同,后者涉及学习潜在数学规则并系统性地应用这些规则来解决问题。

基于案例的推理与基于规则的推理对比(数据来源:ArXiv研究论文《Case-Based or Rule-Based: How Do Transformers Do the Math?》)

为分析FANformer的数学推理机制,研究人员对OLMo-1B和FANformer-1B在两种数学任务上进行了评估:

  • 模加法:求解c = (a + b) mod 113,其中a, b ∈ [0, 112]
  • 线性回归:求解c = a + 2b + 3,其中a, b ∈ [0, 99]

评估采用留方块法(leave-square-out):从训练集中移除一个方形区域的数据点,并在剩余数据上训练模型,确保模型未接触到该方形区域。随后在测试阶段评估模型对这些未见数据点的预测能力。

实验显示,两种架构在训练数据集上都达到了接近完美的准确率。然而,在测试数据上,Transformer表现出明显的性能下降。

Transformer在留方块测试中表现出"黑洞"现象,即在未见过的数据上准确率接近零,这证实了它可能未能有效应用基于规则的推理来解决数学问题。

相比之下,FANformer的测试结果显著不同。在测试图中未观察到明显的"黑洞"现象,这表明FANformer能够学习并应用解决问题的数学规则,从而实现更好的泛化性能。

FANformer和Transformer在模加法和线性回归任务上的性能对比

总结

FANformer通过将周期性捕获能力显式编码到深度神经网络架构中,实现了相较于传统Transformer架构的显著性能提升。尽管仍需更全面的实验验证,但FANformer已展现出在未来大规模语言模型中的应用潜力。在相同参数规模和训练资源条件下,FANformer能够提供更高的性能和更强的泛化能力,特别是在涉及周期性模式和数学推理的任务中。这种架构创新为解决大语言模型的扩展性挑战提供了一种有前景的新方向。

论文:

https://avoid.overfit.cn/post/1b2f515689d947fc9aae9d22f41b506f

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/31861.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Electron使用WebAssembly实现CRC-32 常用标准校验

Electron使用WebAssembly实现CRC-32 常用标准校验 将C/C语言代码,经由WebAssembly编译为库函数,可以在JS语言环境进行调用。这里介绍在Electron工具环境使用WebAssembly调用CRC-32 常用标准格式校验的方式。 CRC-32 常用标准校验函数WebAssembly源文件…

MySQL数据库的相关语句

数据库的操作(CURD) 创建数据库(重点) 查看数据库(重点) show databases; ‐‐ 查看所有的数据库use 数据库名称;(*****) ‐‐ 使用数据库show create database 数据库名称; ‐‐ 查询数据库的创建的信息s…

Git的命令学习——适用小白版

浅要了解一下Git是什么: Git是目前世界上最先进的的分布式控制系统。Git 和其他版本控制系统的主要差别在于,Git 只关心文件数据的整体是否发生变化,而大多数其他系统则只关心文件内容的具体差异。Git 并不保存这些前后变化的差异数据。实际上…

充电桩快速搭建springcloud(微服务)+前后端分离(vue),客户端实现微信小程序+ios+app使用uniapp(一处编写,处处编译)

充电桩管理系统是专为中小型充电桩运营商、企业和个人开发者设计的一套高效、灵活的管理平台。系统基于Spring Cloud微服务架构开发,采用模块化设计,支持单机部署与集群部署,能够根据业务需求动态扩展。系统前端使用uniapp框架,可…

Unity光照之Halo组件

简介 Halo 组件 是一种用于在游戏中创建光晕效果的工具,主要用于模拟光源周围的发光区域(如太阳、灯泡等)或物体表面的光线反射扩散效果。 核心功能 1.光晕生成 Halo 组件会在光源或物体的周围生成一个圆形光晕,模拟光线在空气…

【cocos creator】热更新

一、介绍 试了官方的热更新功能,总结一下 主要用于安卓包热更新 参考: Cocos Creator 2.2.2 热更新简易教程 基于cocos creator2.4.x的热更笔记 二、使用软件 1、cocos creator v2.4.10 2、creator热更新插件:热更新manifest生成工具&…

深度评测阿里云操作系统控制台:功能全面,体验卓越!

📝个人主页🌹:Eternity._ 🌹🌹期待您的关注 🌹🌹 ❀ 阿里云操作系统控制台 操作系统控制台操作系统实践体验服务的开通创建ESC实例组件管理功能体验:节点健康系统诊断系统观测订阅管…

Spring Boot 解析 LocalDateTime 失败?Uniapp 传输时间变 1970 的原因与解决方案

目录 前言1. 问题分析2. 时间戳(推荐,可尝试)3. 使用 JsonDeserialize & JsonSerialize(中立)4. 前端传 ISO-8601 格式(不推荐,可尝试)5. 用 String(中立&#xff09…

【vitepress】如何搭建并部署自己的博客网站

文章目录 新的改变旧的github.io地址,现在不用更新netlify托管之后为这个 一 如何搭建[1]:安装vitepress初始化Vitepress启动项目 二 如何部署[2]视频教程 [3] 新的改变 旧的github.io地址,现在不用 https://dl-hx.github.io/myBlog/ 更新netlify托管之后为这个 https://dl…

Cursor新版0.47.x发布

0.47.x - 可靠性、键盘快捷键与提前体验选项功能 本次更新主要聚焦于稳定性和性能改进,以确保现有功能更好地运行。 新功能与改进 键盘快捷键:所有键盘快捷键现在都可以在键盘快捷键菜单中找到。前往 设置 > 键盘快捷键 来修改或添加新的快捷键。 …

docker 小记

一、卸载 查看当前版本 docker -v2. 如果有,先停止docker systemctl stop docker如果是yum安装,卸载方式为 #已防版本冲突,直接卸载 yum remove docker \docker-client \docker-client-latest \docker-common \docker-latest \docker-lat…

XGBoost介绍

XGBoost:是eXtreme Gradient Boosting(极端梯度提升)的缩写,是一种强大的集成学习(ensemble learning)算法,旨在提高效率、速度和高性能。XGBoost是梯度提升(Gradient Boosting)的优化实现。集成学习将多个弱模型组合起来,形成一个…

Aliyun CTF 2025 web ezoj

文章目录 ezoj ezoj 进来一看是算法题,先做了试试看,gpt写了一个高效代码通过了 通过后没看见啥,根据页面底部提示去/source看到源代码,没啥思路,直接看wp吧,跟算法题没啥关系,关键是去看源码 def audit_checker(even…

大数据hadoop课程笔记

1.课程导入 柯洁 Alpha Go是人工智能领域的里程碑。 深度学习 大模型deepseek chatgpt 大模型 和 大数据 之间有着非常紧密的关系。可以说,大数据是大模型发展的基石,而大模型是大数据价值挖掘的重要工具。 https://youtu.be/nN-VacxHUH8?sifj7Ltk…

Pandas数据清洗实战之清洗猫眼电影

本次案例所需要用到的模块 pandas(文件读取保存 操作表格的模块) 将上次Scrapy爬取下来的文件 做个数据清洗 变成我们想要的数据 确定目的:将此文件中的duration字段中的分钟 和publisher_time上映去掉 只保留纯数值 数据清洗题目如下: 修复 publish_time列中的错…

UDP-网络编程/socket编程

一,socket相关接口 1,socket 我们来介绍socket编程的第一个接口:socket,它需要用到的头文件如图: 其中domain表示域或者协议家族: 本次我就用AF_INET(ipv4)来做演示 type参数表示…

《人月神话》:软件工程的成本寓言与生存法则

1975年,Fred Brooks在《人月神话》中写下那句振聋发聩的断言——“向进度落后的项目增加人力,只会让进度更加落后”——时,他或许未曾料到,这一观点会在半个世纪后的人工智能与云原生时代,依然如达摩克利斯之剑般悬在每…

ROS云课基础题库-01C++案例-甜甜圈

效率是核心,但效率高的教程会忽略掉非常多的细节。 解决问题的思路和细节对于一个问题的有效求解至关重要。 资料 云课五分钟-02第一个代码复现-终端甜甜圈C-CSDN博客 从云课五分钟到五秒钟焦虑的甜甜圈向前冲-CSDN博客 说明 复现重要性没有那么大,…

Oracle RHEL 5.8 安装 - 呆瓜式

前言 Red Hat Enterprise Linux Server release 5.8 为企业级 SO 镜像。绝大部分企业如果使用Oracle数据库均会使用其企业版 OS ,能够很好的支持数据库的运行 文档目的 当前文档仅针对 VMware Workstation Pro 进行 OS 介质安装。 镜像下载地址 注意&#xff1…

【数据分析大屏】基于Django+Vue汽车销售数据分析可视化大屏(完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程)✅

目录 一、项目背景 二、项目创新点 三、项目功能 四、开发技术介绍 五、项目功能展示 六、权威视频链接 一、项目背景 汽车行业数字化转型加速,销售数据多维分析需求激增。本项目针对传统报表系统交互性弱、实时性差等痛点,基于DjangoVue架构构建…