阿里新发布的UniAnimate现高效人像动画生成；在ComfyUI中使用Stable 3模型；音频版的gpt2o；将 PDF 文档转换为音频播客

✨ 1: UniAnimate

阿里新发布的UniAnimate通过统一的视频扩散模型，实现高效人像动画生成，支持长视频生成

UniAnimate 是一种专注于一致性人像动画生成的统一视频扩散模型。该模型通过映射参考图像、姿势指导和噪声视频到一个共同特征空间，实现了高效且一致的长时视频生成。UniAnimate 的主要特点包括：

共同特征空间映射：利用统一的视频扩散模型，将参考图像、姿势指导和噪声视频映射到一个共同特征空间，减少了优化难度并确保了时间上的一致性。
统一噪声输入：支持随机噪声和基于第一帧的噪声输入，增强了长时间视频生成的能力。
高效的时间建模架构：使用基于状态空间模型的时间建模架构，替代原来计算消耗较大的时间 Transformer。

地址：https://github.com/ali-vilab/UniAnimate

✨ 2: ComfyUI Stable Diffusion 3 API

ComfyUI Stable Diffusion 3 API让你通过接口在ComfyUI中使用Stable 3模型。

ComfyUI Stable Diffusion 3 API 是将 Stable Diffusion 3 引入 ComfyUI 的工具。利用 API，用户可以通过 ComfyUI 访问和使用 Stable Diffusion 3 的模型生成图像。目前提供两种模型选择：SD3 和 SD3 Turbo，且不同模型在积分消耗上有所不同。该 API 提供了多种比例和模式以满足不同的生成需求。

地址：https://github.com/ZHO-ZHO-ZHO/ComfyUI-StableDiffusion3-API

✨ 3: Building GPT2o

构建生成音频的GPT2模型的方法和过程

从头开始构建一个能生成音频的GPT-2模型的过程。受到Andrej’s “Let’s Reproduce GPT-2” 的启发，作者希望创建一个类似于OpenAI的GPT-4o或AudioPaLM的自动回归生成音频的模型，而且最好在普通消费者硬件上训练。

音频标记化：
使用SNAC（一个分层结构的音频离散标记化模型），将音频转换为离散标记。这种方法效果很好，几乎无法分辨原音频和重建音频之间的差别。作者利用SNAC模型和教程，创建了一个能将音频转换为离散标记的标记化工具，以供语言模型训练。

数据集：
作者错过了LIAON的预标记化数据集，因此使用了来自Librivox的公共领域录音《福尔摩斯历险记》。这些音频总时长约12小时，相当于约150万个SNAC标记，并将其上传至Hugging Face。

训练与推理：
训练代码与Andrej的原始代码几乎无异，只做了一些小的修改，如数据处理脚本、上下文长度、批次大小和词汇表大小等。尽管作者在分布式数据并行（DDP）版本中遇到问题，但在Colab上可以在一两个小时内得到一个能生成音频的模型。不过模型过拟合，大多数时间生成的音频是乱码。本文仅展示了概念验证，作者相信更多数据和计算资源能提升模型性能。

代码：https://github.com/nivibilla/build-nanogpt/tree/audio
模型：https://huggingface.co/eastwind/gpt2-audio-tiny-sherlock-5k-overfit
数据：https://huggingface.co/datasets/eastwind/tiny-sherlock-audio

地址：https://medium.com/@nivibilla/building-gpt2o-part-1-audio-65b66e193784

✨ 4: midGPT

midGPT是一个基于Jax和Equinox的可实验性LLM预训练仓库，支持大型模型跨多设备训练。

MidGPT 是一个用于 LLM（大型语言模型）预训练实验的简单且可扩展的代码库，基于 Jax 和 Equinox 构建。该代码库能够在 TPUs 或 GPUs 上训练具有数十亿参数的 GPT风格的解码器-仅 Transformers 模型。

MidGPT 受 NanoGPT 启发，但支持多设备和多主机的 FSDP（全栈数据并行），从而可以训练更大的模型。它还包括了一些最近的 Transformer 改进：旋转嵌入（rotary embeddings）、RMSNorm、QK-Layernorm 和独立权重衰减，能够在更大规模的训练中提高性能或稳定性。

地址：https://github.com/AllanYangZhou/midGPT