探秘火山之巅：我在字节跳动的三年奇妙旅程

❤️点击上方，选择星标或置顶，每天给你送上干货❤️

作者 | godweiyang

出品 | 公众号：算法码上来（ID：GodNLP）

- BEGIN -

本文由ChatGPT润色，朱自清文笔

似乎已有半载的光阴，我未曾触笔述事。此半年来，工作路向浑然改变，乃至整个团队亦经历了沧海桑田的变迁。说我忙，其实也未必至于忙，但压力如山，犹如涛涛江水，使我心无余力来挥洒文墨。

简单的说，现时，我已迈离了火山翻译的工作台，但仍旧身在AI Lab之中，将我那一份热忱，在别的领域继续闪耀，犹如夕阳留照，也为曾经的事业散发余晖。

在此，我以一篇文字，作为记念，纪念我在火山翻译的三载光华岁月。

初探世界

疫情初歇，我初涉社会之门，从学校踏入世界的广漠。日复一日的新鲜感充满了我，每天，我都会拍下食堂的餐点分享到朋友圈，那时的饭菜，犹如人间美味，如今却是味同嚼蜡。

记得有一位同事曾如此戏谑：“只有实习生才会每日拍拍吃的”。当时，我不以为然，美食在眼，怎能不晒出来呢？然而两年过去，我已失去了那曾经的热情。

那半年的实习生涯，我主要从事一些探索性的工作，聚焦于Transformer模型的压缩与量化。转正之际，我还开发了一款机器翻译的iOS app，虽然模型大小被压缩至几十兆，但功能尚且简陋。

在此期间，我也有幸深入接触了LightSeq，这个伟大的开源项目。当时，它的star尚只有两三百，只是一个推理加速引擎。我助力它宣传，如今已累积超过2800个star，影响力小有所增。

实习期间，我遇到了我的首位mentor，同样，我也是他的首个实习生。他，技术熟练，人格魅力，是火山翻译中最帅气，最有男子气概，技术最出众的人。他在我身上留下了深刻的烙印，无论是在技术领域，还是在职场经验上，他都给我留下了深刻的影响。那个我深入接触的开源项目LightSeq，也是他一手策划推动的。

光序之路

这一年，我和导师共同开辟了一片崭新的疆域，从无到有，建立起了LightSeq训练加速引擎。在这期间，我叩开了CUDA的大门，初尝探索与发现的乐趣，甚至倾力打造了几篇初探CUDA的入门指南，期待让后继者少踏入一些陷阱。

我发现，写CUDA，与写开源项目的过程，充满了无尽的快乐。这快乐来自于一种难以名状的成就感，是因为我能为开源社区贡献自己的一份力量，为广大的人群带来福祉。这与某些项目大异其趣，那些项目让人只感觉自己在为公司鞠躬尽瘁，而缺少真实的动力。

在这一年，我也圆满的完成了学业，正式成为了字节跳动的一员，所以实际上，我在此的历练时间不过两年有余。

除了技术上的精进，我在宣发方面也并未松懈。我在字节内部社区发布的正能量帖子获得了前所未有的热烈回响，我还有幸登上了CEO的十周年演讲，我的故事甚至被印刷在了春节礼盒上。这一切，都让我对公司产生了强烈的归属感，我与它有了更深的羁绊。

量化的翻涌

这一年，我的心灵主要浸润在量化技术的泉流之中。因为训练与推理的加速引擎，已经磨砺至尽善尽美，而我心中更期盼将量化的秤砣，巧妙地投入到训练与推理的洪流中。春去夏来，我主要灌注心血于量化推理（QAT）的研磨，秋风起，继续逐流推进量化训练的开发。

不绝如缕的努力，如灯塔般的宣传，使得star这一年突破了两千的峭壁，其名声也如晨星般，照亮了黑夜，日渐高涨。在这温暖的光芒下，我心中的兴奋难以言表。

不仅如此，训练的成果，居然得以登上超级计算领域的顶峰——SC大会，这样的机会，在我加入公司时是万万没有想到的。这不是纯粹的研究，也不是简单的开发，这是燃烧的激情与冷静的学术的交融。我同时肩负着工作与学术的双重任务，开源项目与论文发布的双翼搏击，此刻的我，恰如我心所期待的那般。

雕琢新世纪

辞去旧岁，迎来新元年之际，稳定扩散（Stable Diffusion，一种人工智能绘画技术）揭幕而出，颠覆了世界的视界。我在导师的催促之下，奉献于一项神秘的任务，亲手打造并服务于这一业务，而这引领我跨入了AI绘画这一未曾涉足的领域。如同磨砺的矛头，我用了一个季度的时间，走过了从浅显入门到深入领略的艰辛道路，逐渐地，整套流程的操作已然熟练于心。然而，意料之外，业务草木皆兵后的黯然消失让人唏嘘。虽然如此，收获亦非空虚，因我在这个过程中结识了不少领域中的翘楚，领会了很多尖端的技术，这将是我未来探索的宝贵财富。

后来，ChatGPT如猛虎下山，扫过各行各业，各大公司和学校纷纷掀起了自我训练LLM的热潮，连字节跳动也并未例外。我却未能及时把握这个机遇，改行研究计算机视觉（CV），具体的事宜我在此就不多言了，避嫌为妙。简而言之，随着部门的重组，我与相伴三年的火山翻译惜别，因毕竟，机器翻译也必须接纳大模型的洗礼。大模型的兴起，也为公司间的人才流动带来了无尽的可能，熟悉大模型操作的人才，将是炙手可热的宠儿。

如今，心底里的快乐，无疑并非昔日之充沛。然而，这亦是大势所趋，ChatGPT正驱使我们纷纷前行，迎接变革，有所压力，反倒正中其境。

再别漕河泾

这是我在火山翻译度过的三载，一段异常快乐而充实的日子。有人戏谑我们的团队，号称字节中“最没字节味”的一股清流，那是因为我们的工作时间自由度大，工作环境轻松而愉快。然而，我更愿意把这种情形看作字节独特风貌的体现，是在这种环境下，我们才能更从容地创造出惊艳的成果，反倒是若将人们束缚在公司，加班加点，往往只会事与愿违。

火山翻译的使用率正逐渐下降，大家开始更多地选择chatgpt来进行翻译。诚然，后者在准确度和流畅度上还存在一些差距，但火山翻译更多的时候已经成为了我的文本编辑框，帮我整理和消除各种格式。

在不久的将来，大约两个月后，字节可能要迁移到杨浦工区，而我也将告别陪伴我三年的漕河泾。漕河泾虽不在市区，却也已经物涨价跌，房价一路攀升到每平米十万元。记得当年，我为了靠近公司，特地选在9号线沿线的松江泗泾购房，然而在搬迁后，我的通勤时间竟增加了一个小时。

我在思索，或许我应当重新开始，定期更新一些文章。回忆当初写CUDA做模型优化的日子，那些想要分享的观点和想法还有很多，也都颇为有趣。而现在的研究方向，我却在犹豫，毕竟是半路出家，深怕自己班门弄斧。但我想，我还是应当回归初心，写写算法题。这些文章或许能够帮助他人求职，或许有一天，我自己也能再次从中得益。

以下是原文

已经有半年左右没更新过文章了，这半年工作方向有很大变动，甚至整个部门也发生了翻天覆地的变化。说忙也不算忙，但是压力倍增，也没多少心思写文章了。

简单来说，现在已经离开火山翻译了，但还是在AI Lab，继续在其他方向上发挥余热。

谨以此文，纪念我在火山翻译的三年美好时光。

三年经历

2020.5.20 - 2020年末

这半年时间疫情刚结束，第一次从学校迈入社会的大门，每天都充斥着新鲜感。每天都要拍一拍公司食堂的伙食发朋友圈，那时候的饭菜是真好吃，现在已经大不如从前咯。

还记得一位同事当时跟我说：“只有实习生才会每天拍这些吃的”，当时不以为意，觉得这么好吃为啥不秀一秀，果然过了两年已经没有任何拍的动力了。

这半年时间因为是实习，所以主要做一些探索性的工作，聚焦于Transformer模型的压缩与量化，最后实习转正时还做了一个机器翻译的iOS app，模型大小压缩到只有几十兆，不过相当简陋了。

顺带还熟悉了一下LightSeq这个伟大的开源项目，当时star才两三百吧，只有推理加速引擎。帮忙做了一波宣传，现在已经2800多star了，也算是小有影响力了。

实习期间遇到了我的第一个mentor，我也是他的第一个实习生。作为火山翻译最帅最man技术最牛的人，他方方面面影响了我很多，不论是技术，还是职场经验，LightSeq也是他一手策划推动的。

2021年

这一年时间和mentor一起从0到1搭建起了LightSeq训练加速引擎，从0开始学习了CUDA，还写了几篇CUDA入门教程，让后来的人少踩一点坑。

写CUDA还是快乐的，写开源项目也快乐。有一种莫名的成就感，为开源做贡献的成就感，造福很多很多人的成就感。不像有些项目，你做了就感觉纯粹是在给公司打工，没有那么大的动力。

这一年也顺利毕业了，正式转正成为了bytedancer，所以实际上到现在为止我的工龄才刚2年多。

除了技术，在宣发方面我也比较活跃，字节内部社区发的正能量帖子点赞量进入了历史前几，还上了CEO十周年演讲，故事被印刷在了春节礼盒上面，这更让我对公司产生了一种强烈的归属感。

2022年

这一年主要聚焦于量化技术，因为训练和推理加速引擎都开发的差不多了，想更进一步地将量化应用到训练和推理上去。前半年主要开发了量化推理（QAT），后半年继续开发了量化训练，经过一波宣传，star在这一年突破了2000大关，知名度也越来越高。

训练相关成果还发表在了超算领域顶会SC，没想到来公司还能发顶会论文，工作学术两不误。但这又不是那种纯粹的做research，而是做开源项目的同时，顺便发了一篇论文，这才是我想要的状态。

2023年

2022年底，stable diffusion（AI绘画）横空出世，mentor让我去给某业务做相关支持，于是机缘巧合之下从0开始学习了一波AI绘画技术。做了大概三四个月吧，整套流程都搞的差不多了，没想到业务没了，实在是可惜。不过也没白干，认识了不少这方面的大佬，也学到了很多相关技术。

再后来就是chatgpt横扫各个领域了，各大公司和学校都开始了自己训练LLM的旅程，字节肯定也不例外。不过我没赶上NLP这趟车，转而去做CV了，具体就不多说了，保密保密。简而言之，部门重组了，我也离开相伴了三年的火山翻译了，毕竟机器翻译也得拥抱大模型了。同时大模型也带来了机会，公司之间的跳槽与活水肯定也会越来越多，现在国内谁会做大模型那肯定是最吃香的。

简而言之，现在肯定是没有以前快乐的。不过大方向也是如此，chatgpt逼迫着大家追赶进步，有点压力是正常的。