文本徽标布局
这是论文的官方 Pytorch 实现:
通过内容感知布局推断的审美文本标志合成。2022 年简历。
论文:arxiv 补充:链接
演示
我们的模型将字形图像及其相应的文本作为输入,并自动为它们合成美学布局。
英文结果:
中文结果:
数据集
TextLogo3K 数据集
我们通过从中国领先的在线视频平台之一腾讯视频收集数据,构建了一个名为 TextLogo3K 的文本标识数据集。该数据集包含 3,470 个从电影、电视剧和漫画的海报/封面中提取的精心挑选的文本徽标图像。
我们为这些文本徽标中的每个字符手动注释边界框、像素级掩码和类别。
下载链接:Google Drive、PKU Disk(密码:1VEn)
请下载它,解压缩,并将文件夹'TextLogo3K'放在'./dataset/'下。
请注意,此数据集只能用于学术目的。
除了我们论文中解决的布局合成问题外,我们的数据集还可以用于许多任务,例如(1)文本检测/分割,(2)纹理转移,(3)艺术文本识别,和(4)艺术字体生成。
英文数据集
我们使用的英文数据集来自 TextSeg(Rethinking Text Segmentation: A Novel Dataset and A Text-Specific Refinement Approach, CVPR 2021)。请按照其主页中的说明请求数据集。
安装
要求
- Python3.8
- Pytorch 1.9.0(它可能在一些更低或更高版本上工作,但未经测试)
请使用Anaconda搭建环境:
conda create -n tll python=3.8source activate tll
按照说明安装 pytorch 。
- 其他
conda install tensorboardX scikit-image jieba
培训和测试
训练
训练我们的模型:
python train.py --experiment_name base_model
训练日志会写成./experiments/base_model/logs
,可以通过 Tensorboard 可视化。检查点将保存在./experiments/base_model/checkpoints
. 所有超参数都可以在 中找到options.py
。
我们的代码支持多GPU训练,如果你的单GPU内存不够用,check multi_gpu
in options.py
isTrue
并运行:
CUDA_VISIBLE_DEVICES=0,1,2...,n python train.py --experiment_name base_model
预训练模型
我们训练有素的检查点(在 epoch 600)可以在Google Drive和PKU Disk中找到。我们发现不同步骤的检查点可能会给出不同的样式,鼓励自己训练模型并测试更多检查点。
测试
在 TextLogo3K 测试数据集上测试我们的模型:
python test.py --experiment_name base_model --test_sample_times 10 --test_epoch 600
结果将保存在./experiments/base_model/results
.
测试您自己的数据
(此功能正在开发中,将很快升级) 用您自己的案例测试我们的模型:首先,从Chinese-Word-Vectors下载中文嵌入,即 sgns.baidubaike.bigram-char,放在'./数据集/嵌入”。
然后,从输入文本和字体文件生成数据:
python gen_data.py --input_text 你好世界 --ttf_path ./dataset/ttfs/FZShengSKSJW.TTF --output_dir ./dataset/YourDataSet/
最后,使用我们的模型来推断:
python test.py --experiment_name base_model --test_sample_times 10 --test_epoch 500 --data_name YourDataSet --mode test
结果将写入./experiments/base_model/results/500/YourDataSet/
致谢
- 中文词向量
- pytorch-fid
- 文本段
引文
如果您使用此代码或发现我们的工作有帮助,请考虑引用我们的工作:
<span style="color:#24292f"><span style="background-color:#ffffff"><span style="background-color:var(--color-canvas-subtle)"><code>@inproceedings{wang2021aesthetic,title={Aesthetic Text Logo Synthesis via Content-aware Layout Inferring},author={Wang, Yizhi and Pu, Gu and Luo, Wenhan and Wang, Yexin ans Xiong, Pengfei and Kang, Hongwen and Wang, Zhonghao and Lian, Zhouhui},booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},year={2022}
}</code></span></span></span>