点击上方“AI遇见机器学习”,选择“星标”公众号
第一时间获取价值内容
来自|AI科技评论 编译 | 青暮、陈大鑫
关于如何攻读机器学习博士学位,这个嘛,主要是不要重蹈我的覆辙,哈哈。
你已经开始了博士的学习课程,恭喜恭喜。在这篇文章里,我们将讨论在攻读博士学位期间要做的事情,包括如何成功发表论文、如何应对评审、如何在会议上游刃有余等等。
首先,我要说一句,我不擅长攻读博士,我不是这方面的专家。我就快要拿到博士学位了,但我曾经做错了很多事情,绝不是一个成功的学者。但是,如果你也像我一样,在刚刚开始博士生涯时,并不知道该做什么,不知道如何选择研究主题,不知道如何撰写论文。那么,我或许可以给你提供点儿帮助。
我可以告诉你的是,我见过很多擅长此事(攻读博士)的人。因此,我可以告诉你这些人做对了什么,而我自己又做错了什么,以及我认为你应该学习的方面。
选择主题
在确定研究主题时,确保你的导师或者周围的师兄师姐们对这个主题有足够的经验。
当然,你的个人兴趣也很重要,毕竟你得待在自己挖的坑里好长一段时间。
最后,你得选择自己擅长或拥有足够专业知识的领域。
如果能够满足这三个条件,你的博士生涯将非常香。
不过,选择主题时,还需要考虑一些其它事项:
首先,拥有多少资源将决定你是否能够跨过某些研究领域的门槛。这里,我假设你的研究团队很普通,没有庞大的计算集群或大量资金,是的,我的建议就是针对非大型科技公司的相当普通的博士生。但是,如果你的团队很多金,坐拥成千上万的TPU,当我没说,当我不存在,训练你的大型语言模型去吧。
好了,回到正题,有两种基本方法可以选择研究主题。
第一个方法是选择当前该领域最热、最受关注的主题,没错,就是随大流。目前而言的话,这不一定是一个坏主意,我觉得泡沫破裂的时候也还没到,哈哈。
但是这种方式也有一些缺点。原因在于,在这样的领域种,会充斥着大量论文,不管水不水,同时也存在着激烈的竞争,竞争的压力不仅仅来自同行,还有来自大型公司的多金同行。但还有一个更重要的原因,就是这样的领域迟早会衰落。
如果你今天选择研究Transformer,那么很可能会在这个坑里挣扎三四年,而领域还在不断向前发展。
那么,如果不研究热门主题,该咋办?这就来到了另一种选择,即小众主题(niche topics),这也是我向大多数人推荐的主题。
这类研究主题的优势在于周围没有太多竞争,你实际上可以在这个领域可以成为专家,并且无论做什么都可以做到最好。目前有哪些小众主题?比如bandits、优化、生物学启发神经网络、基于文本的博弈等等。
我是不说你就应该选择这些主题,而是说在这些小型社区,你可以进行持续地产出,不受炒作的影响。
应对审稿
好了,接下来是,如何发表论文?
现在,如果我不得不用一句话总结好论文的风格,那就是“写不能被拒绝的论文”,这可不像听起来那么简单。机器学习中的评审过程极大地鼓励了审稿人以尽可能快的速度,尽可能轻松的心情,来拒绝你的论文。
所以,我们要做的是,不要给审稿人任何拒绝你的论文的理由。
撰写论文的最简单方法是按字面意义阅读论文。在你的小众领域内,收集文献,阅读,然后尝试模仿他们的写作风格,尝试模仿他们做实验的类型和方式,尝试模仿他们为其思想奠定理论基础的方式。
你的目标是撰写一篇审稿人不能轻易找茬的论文,审稿人是实现我们目标的最大障碍。
我就直说了,应对论文评审是攻读博士学位中最残酷的经历之一。审稿人很讨厌,他们总是没有时间,他们总是没有正确阅读论文,他们总是误解了,他们总是批评你没有对一些小众的数据集进行评估。我们总是被审稿人误解。
我可以告诉你的是,不要因不好的评审而灰心,不要对个别评审太认真,只需将论文重新提交下一个会议即可。
因此,保持你的理智,不要太过个性化。有许多著名的论文在初次投稿时就被拒绝了,并不是因为论文不好,而是因为审稿人很烂。
当你不再是菜鸟,段位变得越来越高时,你可能会活成你自己讨厌的人——审稿人。
成为审稿人
在审别人论文的时候,你才会发现,所有其他审稿人都糟透了,写的什么垃圾评审。好吧,你很可能禁不住诱惑也自甘堕落了。你在想,大家都审的那么烂,我那么努力干啥子,特别是当你好好地审论文也不会获得任何好处(除了一句谢谢)的时候。
当然,做一个好的审稿人真的非常非常困难。但是请努力,不仅是因为你不想同流合污,而且撰写出色的评审也可以帮助你真正地深入研究论文,真正看到其他论文的弱点,并且使你成为更好的作者、研究员和社区成员。
因此,为了你自己和社区,即使没有时间,即使其他人做的真的很烂,也请认真对待论文评审。
“认真”教学
读博士的另一件烦人的事很可能是教学。而且,你很可能没有什么动力去做好教学。毕竟,学生是“烦人”的生物,你越快地摆脱他们,你就越早可以开始写论文。
但是,我还是建议你认真对待教学,这不仅是因为这个世界依赖于下一代研究人员,还要考虑到你所教的人也许有一天会成为你的实验室成员,你将从他们的优秀能力中受益。因此,为了你自己和学生,请认真对待教学。
因此,除了需要做的事情(例如复习和教学)之外,你整天还要干什么?
我的答案是:
处理手头工作——撒尿——然后继续处理手头工作。
博士学位是头等重要的大事,是需要长期付出精力的一项工作。
在博士期间,你将被诱惑去做各种各样的事情。这有一个阅读小组、又有一个研讨会、一会儿还有一个演讲。
除非这些东西有特别的兴趣或者他们对你有特定的帮助,否则这将会是消磨时间,并不是说你不应该去参加它们,只是要考虑到它们对你的论文主题有没有什么实质性的帮助。
参加会议
现在你已经撰写了论文,并将其提交给同行评审。很幸运,你中稿了,并且可以参加会议了。
会议本身、会议网站以及Twitter上的每个人都可能给你一种印象——人们发表有关他们的研究供其他人聆听和学习。
可是不容忽视的一点是,会议的演讲部分已经变得越来越无关紧要,尤其是现在这个时代,所有内容都已记录并可以流式传输,你只需在舒适的沙发上以2倍速看一下这些东西,就可以确保不会丢失任何东西。
这些讲座通常很简短,而且它们的讨论可能涉及至少六个月的研究。
参加会议最有趣的部分是那里的人,而且有趣的谈话往往发生在研讨会、小组讨论、tutorial中,试图找到讨论前沿研究的地方,而研讨会正是这样一个好地方,因为很多研究通常是最近才进行的、尚未完成,你在这里或许能收获很多不错的新idea,或者找到自己感兴趣的人。
许多论文作者会面对面告诉你他们永远不会在论文上写下的东西,例如哪些实验跑不通、研究中的问题、论文的缺点、以及很多的bug和踩坑经验,在会场和人们聊天你会获得很多知识。
但是,做到这一点,你要保持开放大胆、张口说话、主动问好、走出第一步、积极地享受与人交流的过程。
我知道这对我们很多人来说都是很难的,但它确实有回报,它将使你的生活更加愉悦。
好吧,我接下来要谈的是实习,如果你要去另一家大学的公司实习,那完全取决于你的偏好。
实习
在不同的地方进行实习通常会给你带来不同的见解。
如果你在一家大公司实习,那可能是学术和产业环境的转变,你将可以使用更多的研究资源,并且可以进行一些不同类型的研究,最重要的是,你可以将会遇到不再是学者思维的一群人,那将是非常宝贵的体验。
一旦你深陷学术界一段时间,结识一群只想打造出色产品的人群就会变得耳目一新,并让你真正了解到产品思维和目标导向。
合作
最后,我想谈谈合作的话题。如果你能找到一个对你有互补技能并且对同一领域感兴趣的人,那么一起工作并共同进行研究肯定会有所回报。
但是,仅当这些技能确实在同一领域能发挥作用时,才做这种事。与他人合作非常诱人,如果你能解决的话,对你有好处。但同样,一定要专注于你的特定领域,并真正将协作视为共同努力,以更快、更严格地完成研究,这是值得的。
后记
好的,所以我现在讨论的方式,看起来像是博士学位令人厌烦且需要大量工作,而且你永远都做不到任何有趣的事情。尽管这是一个方面,并且这肯定会发生在人们身上,尤其是如果他们想快速完成工作,那么我敦促你也花一些时间来享受这段时间。
博士阶段是一段美好的时光,你将结识很多有趣的人,学习很多有趣的主题和思想,能够去很多有趣的地方。这些都是宝贵的体验。
因此,我的建议是,如果可以的话,不要一直忙绿工作,花半年或更长时间放轻松一点,enjoy your time,做好本职研究工作的你随时都可以找到工作的。
最后,我希望你从本文中至少学到了一些东西,祝福你在通往机器学习博士学位的道路上获得成功。
Cheers !
欢迎大家加入我的这个”AIGC与GPT“知识星球,价格便宜,目前已有近120人
作为一个大厂算法工程师和机器学习技术博主,我希望这个星球可以:
【最全免费资源】免费chatgpt-API,最新AIGC和GPT相关pdf报告和手册。
【最专业算法知识】Transformer、RLHF方法、多模态解读及其论文分享。
【最新变现姿势】如何结合ChatGPT应用落地,各种可以作为副业的AIGC变现方式,打好这个信息差。
【最有趣AICG】ChatGPT+midjourney拍电影,制作壁纸,漫画等等有趣的AICG内 容分享。
一些截图: