StoryDiffusion 是一款由南开大学和字节跳动联合开源的 AI 工具，能一键生成连贯的剧情漫画和故事视频，还能保持人物和风格的一致性，特别适合内容创作者生成高质量视觉内容。下面就来详细说说怎么用它生成高质量视觉内容。
?️ 前期准备
用 StoryDiffusion 生成高质量视觉内容，前期准备很重要。一方面要了解工具特点，另一方面要明确创作需求。
工具特点
StoryDiffusion 有不少强大功能。它能生成各种风格的漫画，还能保持风格和人物角色的一致性，这对故事创作很关键。生成的视频质量也高，能创造出一致性很高的卡通风格角色，还能保持多人物的一致性，不管服装和背景怎么变，人物角色基本不变。而且它兼容所有基于 SD1.5 和 SDXL 的图像扩散模型，模型可插拔。
创作需求
使用前得明确自己的创作需求。比如要生成什么样的故事，是科幻、爱情还是冒险；故事的风格是写实、卡通还是幻想；需不需要多个人物，人物有什么特征等。把这些想清楚，后续操作才能更有针对性。
? 在线体验
要是不想自己部署，在线体验是个好选择，完全免费，对电脑也没要求。
访问平台
打开浏览器，输入 StoryDiffusion 的官方空间网址：https://huggingface.co/spaces/YupengZhou/StoryDiffusion，进入创作空间。
输入描述
在文本框中用英文详细描述想要生成的场景。描述得越清晰准确，生成的内容就越符合预期。比如 “一个穿着红色外套的女孩站在开满鲜花的山坡上，周围有蝴蝶飞舞”。
使用反向提示词
如果有特定要求，比如避免某些元素出现，就在反向提示词框中添加相应词汇。要是不想生成有动物的场景，就可以输入 “no animals”。
选择图像风格
从提供的多种风格模板中选一种，像逼真照片风格、动漫风格、幻想风格等。不同风格会给生成的内容带来不同的视觉效果。
详细描述漫画场景
对于漫画中的每个场景，都要输入详细描述，每一行对应一帧，也就是一张图片。可以借助各种 AI 工具来生成这些描述。
启动生成
完成所有输入后，点击生成按钮，StoryDiffusion 就会根据描述开始创作图像。生成过程可能需要一些时间，耐心等待就行。
下载分享
图像生成完成后，能选择保存到电脑，或者直接在社交媒体上分享，展示创作成果。
?️ 本地部署
要是想有更多控制权，或者对生成速度有要求，就可以进行本地部署。
系统要求
本地部署对电脑配置有一定要求。操作系统建议是 Ubuntu 22.04 LTS，显卡最好是英伟达的，显存建议 12G 以上，CUDA 版本要 11.8 及以上，Python 版本 3.12 及以上。
安装步骤
首先克隆 StoryDiffusion 的 GitHub 仓库，命令是 “git clone https://github.com/HVision-NKU/StoryDiffusion.git”。然后进入仓库目录，安装依赖，执行 “pip install -r requirements.txt”。安装好依赖后，就可以启动服务了，运行 “python app.py”。
界面操作
部署成功后，浏览器会弹出界面，左边是参数调整区，右边是出图区。在参数调整区可以设置 sd_type（选择生图大模型）、model_type（类似文生图和图生图）、Textual Description for Character（撰写角色提示词）、Style template（选择出图风格）、Comic Description（描述故事情节）、Tune the hyerparameters（调整超参数）、Seed + steps（种子和步数）、height + width（图像尺寸）、Typesetting style（排版风格）等参数。设置好参数后，点击生成按钮就能生成图像。
? 参数调整
参数调整对生成高质量视觉内容起着关键作用，下面这些参数要重点关注。
sd_type
sd_type 是选生图大模型，目前 Huggingface 上有两种，分别是 “SDXL” 和 “Unstable”。不同模型生成的图像风格和质量可能会不一样，可以根据自己的需求选择。
model_type
model_type 类似 Stable Diffusion 的文生图和图生图。如果有参考图像，选择图生图可能会生成更符合要求的内容；如果只有文本描述，文生图就能满足需求。
Textual Description for Character
这是撰写角色提示词的地方，要详细描述角色的外貌、穿着、表情等特征。比如 “a young man with short black hair, wearing a blue shirt and jeans, smiling”。
Style template
Style template 是选择出图风格，有多种风格可供选择，根据自己的创作需求来选。
Comic Description
Comic Description 是描述故事情节，每一行对应一帧。要把故事的发展脉络描述清楚，这样生成的图像序列才更连贯。
Tune the hyerparameters
这里可以调整一些超参数，比如学习率、迭代次数等。这些参数会影响生成的速度和质量，需要根据实际情况进行调整。
Seed + steps
种子和步数了解过 Stable Diffusion 的应该都比较清楚。种子可以控制生成的随机性，相同的种子会生成相同的图像；步数越多，生成的图像质量可能会越高，但生成时间也会越长。
height + width
图像尺寸建议如果是用 Huggingface 体验的话，调小一点，比如 512，这样出图的成功率会高些。
Typesetting style
Typesetting style 控制图片的排版风格，可以选择不同的排版方式，让生成的漫画更美观。
? 生成优化
生成图像后，可能还需要进行一些优化，让内容更完美。
调整参数
如果对生成的图像不满意，可以调整参数后重新生成。比如觉得图像的颜色不够鲜艳，可以调整颜色相关的参数；觉得人物的表情不够自然，可以修改角色提示词。
增加细节
可以在描述中增加一些细节，让生成的图像更丰富。比如在场景描述中加入 “阳光透过树叶洒在地面上，形成一片片光斑”，这样生成的图像会更生动。
多次生成
多生成几次，从生成的结果中选择最满意的。不同的参数组合可能会生成不同的效果，多尝试几次就能找到最适合自己的。
结合其他工具
可以结合其他 AI 工具，比如先用 Kimi 生成绘本故事，再用 Kimi 生成分镜头，最后用 StoryDiffusion 生成图像，这样可以提高创作效率。
? 注意事项
使用 StoryDiffusion 时，还有一些事项需要注意。
描述清晰
输入的描述一定要清晰准确，这样 StoryDiffusion 才能更好地理解需求，生成符合要求的内容。
合理设置参数
参数设置要合理，不要设置得过于复杂，不然可能会影响生成速度和质量。
注意版权
生成的内容要注意版权问题，不要用于商业用途，除非获得了相应的授权。
关注更新
关注 StoryDiffusion 的官方更新，及时了解新功能和优化内容，这样可以更好地利用工具进行创作。
总之，只要按照以上步骤和技巧操作，就能用 StoryDiffusion 生成高质量的视觉内容。不管是漫画还是视频，都能轻松搞定。赶紧试试吧！
该文章由dudu123.com嘟嘟 ai 导航整理，嘟嘟 AI 导航汇集全网优质网址资源和最新优质 AI 工具。
