【讲座分享】| 复旦大学张奇教授——《自然语言发表论文如何打怪升级?NLP顶会论文发表》

文章目录

  • 1 基础关
    • 1.1 基础书籍
    • 1.2 提高书籍
    • 1.3 课程链接
    • 1.4 编程实战
  • 2 阅读关
    • 2.1 分层过滤
    • 2.2 集团作战,信息获取
    • 2.3 论文如何泛读
  • 3 动机 方向关
    • 3.1 快速发论文
    • 3.2 好的研究
  • 4 写作关
    • 4.1 论文写作流程
    • 4.2 从读者角度出发
    • 4.3 每一部分怎么写
      • 4.3.1 Abstract摘要
      • 4.3.2 Introduction 介绍
      • 其他
      • 4.3.3 实验设计

今天听了~复旦大学张奇教授的报告——《自然语言发表论文如何打怪升级?自然语言顶会论文发表》内容,我觉得收获很大,实际上我在听报告之前并不知道张奇教授竟然就是我前段时间阅读的一本自然语言书籍《大规模语言模型,从理论到实践》的作者,听报告的时候才发现,属实有点惊喜哈哈哈

张奇教授将论文最后的成功发表,分为了四关,一路打怪升级,最后达成目标!张奇教授讲述的时候可能是站到自然语言处理的角度,但是我觉得对计算机其他方向也都是适用的

张奇教授提到的四关分别是基础关,阅读关,动机关,写作关

1 基础关

基础需要我们阅读一些经典书籍,系统全面掌握相关知识

经典书籍推荐

1.1 基础书籍

1,2点 感觉做AI的都需要看,3的话做自然语言处理看即可

1 周志华老师的《机器学习》又叫做西瓜书

2 《神经网络与深度学习》

3 《统计自然语言处理》

1.2 提高书籍

1李航老师《统计学习方法》

2《深度学习》Ian Goodfellow、Yoshua Bengio 和Aaron Courville撰写的花书

1.3 课程链接

老师推荐了一些课程链接

1 神经网络与深度学习 邱锡鹏 https://www.bilibili.com/video/BV13b4y1177W

2 李宏毅2020机器学习深度学习(完整版)国语 https://www.bilibili.com/video/BV1JE411g7XF

3 斯坦福CS224N《深度学习自然语言处理》课程(2021) by Christopher Manning https://www.bilibili.com/video/BV1nP4y1j7rZ

4 神经网络与深度学习 邱锡鹏 https://www.bilibili.com/video/BV13b4y1177W

上面很多课程我都没看过,但我看了北京邮电大学鲁鹏老师的课程,我觉得对我帮助很大

计算机视觉与深度学习 北京邮电大学 鲁鹏 清晰版合集(完整版)_哔哩哔哩_bilibili

1.4 编程实战

我觉得李沐老师的动手深度学习非常棒,可以来提高代码实战能力

《动手学深度学习》 — 动手学深度学习 2.0.0 documentation (d2l.ai)

张奇老师提到两点

如果可以在一周之内

不看别人的代码手搓实现Transformer等基本架构,R-NET基本架构等就算基本入门了

2 阅读关

每年相关论文有上万篇,arxiv上每天也放出很多相关论文,怎么阅读?

老师给出的建议是分层过滤,集团作战,公众号热点,一些文章核心看motivation,一些文章重点看

2.1 分层过滤

从各大会议筛选出一万多篇

每个会议的Best Paper,oral(口头报告论文),Session,重点单位论文筛选出两千多篇

然后根据title,自己做的方向筛选出一千多篇

然后再阅读摘要Abstract和Introduction筛选出五百篇

2.2 集团作战,信息获取

筛选出五百篇还是很多,所以要和组内同学相互分享(集团作战)

每人精读一百多篇左右,主题分享阅读

从各大公众号上获取论文热门信息,核心要看论文的motivation是什么

在筛选过程中,如何泛读呢?

2.3 论文如何泛读

1 题目是什么

2 做的Motivation是什么,motivation可以理解为左这个研究的动机,即做这个研究的目的,出发点

3 大致用了什么方法,看重点的图

4 在什么数据集上面做了测试,结果怎么样

那么在阅读了大量论文之后,就要提出自己的研究动机和方向了

3 动机 方向关

研究方向怎么选?是否应该选择热门方向呢?还是选一些冷门方向

这得看自身情况?如果着急发论文,可以选一些热门的容易录取,但是如果打算长时间做研究,可以静下心来好好做自己真正感兴趣的

3.1 快速发论文

快速发论文可以用棋盘法

在这里插入图片描述

3.2 好的研究

好的研究的特点

  1. 做了的话,可以辅助很多的任务,有明显的益处
  2. 描述简单,如信息抽取,关系抽取,倾向性分析
  3. 研究问题尚且不具备明确的解法
  4. 解决方案具备可测试性,大问题可以拆解成多个子问题,能观察每个子问题的进程。怎么测试呢?
  5. 要确保研究中数据的可靠性以及足够数量

有一个经典的motivation 非常反面的例子——之前的方法精度低,本文提出的方法提升了精度,是不行的

精度低不是motivation,而是要讲明白为什么精度低,对于精度低,我们找到为什么会精度低,提出自己的方法,从而最后取得了哪些进步,解决的初衷才是motivation

比较好的motivation还有比如别人做的工作没注意到什么点,没有关注什么信息,我们充分利用了这些信息等等

4 写作关

4.1 论文写作流程

核心让读者读懂,降低读者的难度,尽量让读者提升他的愉悦感

这里,老师提到了清华大学刘洋老师的报告——论文发表流程

大致分为

1 确定方向

2 确定问题

3 确定思路

4 确定方法

5 实验验证

6 撰写论文

详细可看

刘洋:如何撰写高质量科技论文-清华大学智能产业研究院 (tsinghua.edu.cn)

4.2 从读者角度出发

1 信息的呈现符合读者的认知惯性,深入浅出,引人入胜,让读者快速找到想要的信息

2 尽量降低读者的理解难度 合理地综合使用信息元素:图>曲线>表>正文>公式

3 尽量提高读者阅读时的愉悦感 思想新颖、组织合理、逻辑严密 论证充分、文笔优美、排版美观

我们要核心理解审稿人的审稿一般也是赶DDL,所以我们要在五分钟之内打动审稿人

在这里插入图片描述

4.3 每一部分怎么写

4.3.1 Abstract摘要

两个都可以

在这里插入图片描述

在这里插入图片描述

4.3.2 Introduction 介绍

相当于是把Abstract的每一句话变成一段话详细阐述,中间加上现有的方法有哪些(最好分一下类)现有方法有什么问题

最后阐明自己的Contribution贡献,1,2,3分条列出来

一般在第一页右上部分加一个图说明自己的motivation

不要一上来就描述你的工作,可以先介绍背景知识(往往就是baseline)

• 有利于降低初学者或其他领域学者的理解难度

• 有利于对introduction中的论文做更详细的解释

• 有利于对比baseline和你的方法

其他

多用例子

4.3.3 实验设计

1 公认的标准数据和state-of-the-art系统

2 实验先主后辅

  • 主实验(测试集):证明显著超过baseline
  • 辅实验:参数的影响

不辞辛劳,做到极致

最后,老师寄语

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/250677.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

rust gui开发框架选择

作为一个系统编程强大语言,怎么能少得了图形界面的开发 实际上写这篇前我也不知道,于是我问了ai大模型,文心3.5和chatgpt4.0 答案实际上不能满意,最后我做了下筛选 参考博文: rust开发环境配置:链接 一、…

【大数据】Flink SQL 语法篇(三):窗口聚合(TUMBLE、HOP、SESSION、CUMULATE)

Flink SQL 语法篇(三):窗口聚合 1.滚动窗口(TUMBLE)1.1 Group Window Aggregation 方案(支持 Batch / Streaming 任务)1.2 Windowing TVF 方案(1.13 只支持 Streaming 任务&#xff…

nginx+nginx-rtmp-module+ffmpeg进行局域网推流rtmp\m3u8

局域网推流的简单方式 这里以ubuntu为例 一、先下载安装包 nginx、nginx-rtmp-module,再一起安装 # 下载nginx # 这里我安装的是 nginx-1.10.3 版本 cd /usr/software wget http://nginx.org/download/nginx-1.25.0.tar.gz tar -zxvf nginx-1.25.0.tar.gz# 下载ng…

java基础:带参数的成员方法

上一篇博客中的成员方法是无参的,但成员方法其实是可以有参数的,可以增加代码的灵活性和健壮性。 本文以带一个参数的成员方法和带2个参数的成员方法为案例,加深对知识点的理解。 第一个成员方法(带一个参数)&#xf…

Linux 系统开始配置

文章目录 备份源为root 设置密码安装基本工具切换root 用户删除snap从 Ubuntu 移除 Snap 后使用 deb 文件安装软件商店和 Firefox在 Ubuntu 系统恢复到 Snap 软件包总结 删除 vim安装neovim在线安装neovim压缩安装neovim安装lazyvim安装剪切板 安装qt配置 Qt 环境不在sudoers文…

张维迎《博弈与社会》威胁与承诺(1)威胁的可信与不可信

动态博弈的描述 前两章分析的博弈中,所有参与人都同时行动,这样的博弈被称为静态博弈。这一章我们开始关注动态博弈。不同于静态博弈,动态博弈中的参与人行动有先后顺序,后行动者在先行动者做出决策之后再选择自己的行动。生活中大…

分类预测 | Matlab实现GAF-PCNN-MATT格拉姆角场和双通道PCNN融合多头注意力机制的分类预测/故障识别

分类预测 | Matlab实现GAF-PCNN-MATT格拉姆角场和双通道PCNN融合多头注意力机制的分类预测/故障识别 目录 分类预测 | Matlab实现GAF-PCNN-MATT格拉姆角场和双通道PCNN融合多头注意力机制的分类预测/故障识别分类效果基本描述程序设计参考资料 分类效果 基本描述 1.Matlab实现G…

【开源】基于JAVA+Vue+SpringBoot的陕西非物质文化遗产网站

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 设计目标2.2 研究内容2.3 研究方法与过程2.3.1 系统设计2.3.2 查阅文献2.3.3 网站分析2.3.4 网站设计2.3.5 网站实现2.3.6 系统测试与效果分析 三、系统展示四、核心代码4.1 查询民间文学4.2 查询传统音乐4.3 增改传统舞…

springboot整合rabbitmq,及各类型交换机详解

RabbitMQ交换机: 一.交换机的作用 如果直接发送信息给一条队列,而这一消息需要多个队列的的多个消费者共同执行,可此时只会有一个队列的一个消费者接收该消息并处理,其他队列的消费者无法获取消息并执行。所以此时就需要交换机接…

IDEA中的Run Dashboard

Run Dashboard是IntelliJ IDEA中的工具【也就是View中的Services】,提供一个可视化界面,用于管理控制应用程序的运行和调试过程。 在Run DashBoard中,可以看到所有的运行配置,以及每个配置的运行状态(正在运行&#xf…

Qt+css绘制标题

之前学过html和小程序,帮老师做项目的时候也用过vue,在想qt绘制界面是不是也可以使用css,然后查了一些资料,绘制了一个标题,准备用到智能家居的上位机上面。 成果 源码 重写了paintEvent函数和TimeEvent函数,一个用于绘…

centos7安装oracle

1 安装虚拟机 设置4G内存,硬盘40G 2 配置网络环境 2.1配置主机名 # vi /etc/hostname 修改为 oracle2.2 配置IP地址 # vi /etc/sysconfig/network-scripts/ifcfg-ens33 修改 BOOTPROTO"static" ONBOOT"yes" IPADDR192.168.109.110 NETMAS…

MySQL学习记录——일 MySQL 安装、配置

文章目录 1、卸载内置环境2、安装MySQL3、启动4、登录5、配置my.cnf 当前环境是1核2G云服务器,CentOS7.6。要在root用户下进行操作 1、卸载内置环境 云服务器中有可能会自带mysql还有mariadb这样的数据库服务,在安装我们mysql前,得先查找一下…

composer常用命令

查看全局配置信息 composer config -gl 设置镜全局像地址 composer config -g repo.packagist composer https://mirrors.aliyun.com/composer/ 去掉-g,即表示只有当前项目使用该镜像 批量安装composer项目依赖 composer install 执行该命令后,会读取当…

K8S部署Harbor(三部曲之三:使用)

天行健,君子以自强不息;地势坤,君子以厚德载物。 每个人都有惰性,但不断学习是好好生活的根本,共勉! 文章均为学习整理笔记,分享记录为主,如有错误请指正,共同学习进步。…

mysql升级到8.x

1.下载和安装 1.1.下载 mysql下载地址: https://dev.mysql.com/downloads/mysql/5.5.html?os31&version5.1 应该下载这个类似版本 mysql-8.0.36-linux-glibc2.17-x86_64-minimal.tar.xz 1.2 安装 解压: tar xvf mysql-8.0.36-linux-glibc2.17…

Android之命令行烧写OTA镜像(一百八十五)

简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏:Audio工程师进阶系列【原创干货持续更新中……】🚀 优质专栏:多媒…

IDEA:git 回滚本地提交-git 选择 Reset Current Branch to

前言 回滚提交到本地但是还没有 Push 上去的提交 选择我们要回滚的节点,然后点击 git 选择 Reset Current Branch to… 再选择 Hard 。当我们点击 Reset 的时候,代码就会回滚到单前选中的这个版本

django+flask警务案件信息管理系统python-5dg53-vue

1)用户在后台页面各种操作可及时得到反馈。 (2)该平台是提供给多个用户使用的平台,警员使用之前需要注册登录。登录验证后,警员才可进行各种操作[10]。 (3)管理员用户拥有信息新增,修…

D2025——双通道音频功率放大电路,外接元件少, 通道分离性好,3V 的低压下可正常使用

D2025 为立体声音频功率放大集成电路,适用于各类袖珍或便携式立体声 收录机中作功率放放大器。 D2025 采用 DIP16 封装形式。 主要特点:  适用于立体声或 BTL 工作模式  外接元件少  通道分离性好  电源电压范围宽(3V~12V…