阿里推出AI模型：AnyText，AI生成图片可以添加文字了！

AI生成的图片总是很难添加上文字，或者生成的文字乱七八糟的的。

今天给大家介绍一个AI模型，能够在生成的图片中添加文字！

这个AI项目叫做AnyText

AnyText是一种基于扩散模型的多语言视觉文本生成和编辑模型，能够在图片上生成和编辑任何语言的文字，而且，效果非常逼真和自然。AnyText的作者们开源了代码和数据集，供大家学习和使用。官方还提供了在线体验地址，具体见文末。

AnyText是如何工作的？

该模型通过扩散管道实现，包括两个主要元素：辅助潜在模块和文本嵌入模块

前者使用文本字形、位置和遮罩图像等输入生成用于文本生成或编辑的潜在特征。后者采用OCR模型将笔画数据编码为嵌入，与来自分词器的图像标题嵌入混合，生成与背景无缝融合的文本。

AnyText可以用多种语言写字符，据我们所知，这是第一篇涉及多语言视觉文本生成的论文。值得一提的是，AnyText可以插入社区现有的扩散模型，以准确地渲染或编辑文本。

AnyText有什么优势？

AnyText的最大优势是，它能够写出多种语言的文字，包括中文、英文、日文、韩文、阿拉伯文等。据作者所知，这是第一个能够处理多语言文本生成的工作。而且，AnyText还能够编辑图片中的文字，比如，改变文字的内容、颜色、大小、位置等。这些功能，都是很多其他的文本生成模型所不具备的。

AnyText的另一个优势是，它能够很容易地和其他的扩散模型结合起来，来提高文本生成的效果。比如，作者们将AnyText和Text-to-Image模型结合，就能够生成更加清晰和自然的文本图像。这说明，AnyText是一种很通用和灵活的模型，能够适应不同的任务和场景。

总之，AnyText是一种非常有趣和有用的模型，能够为我们提供一种全新的方式，来生成和编辑多语言文本图像。

在线体验地址：

https://modelscope.cn/studios/damo/studio_anytext/summary

代码地址：

https://github.com/tyxsspa/AnyText

论文地址：

https://arxiv.org/pdf/2311.03054.pdf