补充分镜视频相关文档说明

2025-11-12 20:12:28 +08:00
parent f7e3162a4a
commit 830436d8dc
8 changed files with 156 additions and 8 deletions
--- a/README.md
+++ b/README.md
@@ -13,7 +13,7 @@

 只需输入一个 **主题**，Pixelle-Video 就能自动完成：
 - ✍️ 撰写视频文案
- 🎨 生成 AI 配图  
+- 🎨 生成 AI 配图/视频  
 - 🗣️ 合成语音解说
 - 🎵 添加背景音乐
 - 🎬 一键合成视频
@@ -32,6 +32,7 @@
 - ✅ **全自动生成** - 输入主题，自动生成完整视频
 - ✅ **AI 智能文案** - 根据主题智能创作解说词，无需自己写脚本
 - ✅ **AI 生成配图** - 每句话都配上精美的 AI 插图
+- ✅ **AI 生成视频** - 支持使用 AI 视频生成模型（如 WAN 2.1）创建动态视频内容
 - ✅ **AI 生成语音** - 支持 Edge-TTS、Index-TTS 等众多主流 TTS 方案
 - ✅ **背景音乐** - 支持添加 BGM，让视频更有氛围
 - ✅ **视觉风格** - 多种模板可选，打造独特视频风格
@@ -281,6 +282,12 @@ uv run streamlit run web/app.py
 #### 视频模板
 决定视频画面的布局和设计。

+**模板命名规范**  
+- `static_*.html`: 静态模板（无需AI生成媒体，纯文字样式）
+- `image_*.html`: 图片模板（使用AI生成的图片作为背景）
+- `video_*.html`: 视频模板（使用AI生成的视频作为背景）
+
+**使用方法**  
 - 从下拉菜单选择模板，按尺寸分组显示（竖屏/横屏/方形）
 - 点击「预览模板」可以自定义参数测试效果
 - 如果懂 HTML，可以在 `templates/` 文件夹创建自己的模板
--- a/README_EN.md
+++ b/README_EN.md
@@ -13,7 +13,7 @@

 Just input a **topic**, and Pixelle-Video will automatically:
 - ✍️ Write video script
- 🎨 Generate AI images  
+- 🎨 Generate AI images/videos  
 - 🗣️ Synthesize voice narration
 - 🎵 Add background music
 - 🎬 Create video with one click
@@ -32,6 +32,7 @@ Just input a **topic**, and Pixelle-Video will automatically:
 - ✅ **Fully Automatic Generation** - Input a topic, automatically generate complete video
 - ✅ **AI Smart Copywriting** - Intelligently create narration based on topic, no need to write scripts yourself
 - ✅ **AI Generated Images** - Each sentence comes with beautiful AI illustrations
+- ✅ **AI Generated Videos** - Support AI video generation models (like WAN 2.1) to create dynamic video content
 - ✅ **AI Generated Voice** - Support Edge-TTS, Index-TTS and many other mainstream TTS solutions
 - ✅ **Background Music** - Support adding BGM to make videos more atmospheric
 - ✅ **Visual Styles** - Multiple templates to choose from, create unique video styles
@@ -281,6 +282,12 @@ Determine what style of images AI generates.
 #### Video Template
 Determines video layout and design.

+**Template Naming Convention**  
+- `static_*.html`: Static templates (no AI-generated media, text-only styles)
+- `image_*.html`: Image templates (uses AI-generated images as background)
+- `video_*.html`: Video templates (uses AI-generated videos as background)
+
+**Usage**  
 - Select template from dropdown menu, displayed grouped by dimension (portrait/landscape/square)
 - Click "Preview Template" to test effect with custom parameters
 - If you know HTML, you can create your own templates in the `templates/` folder
--- a/docs/en/reference/config-schema.md
+++ b/docs/en/reference/config-schema.md
@@ -21,6 +21,10 @@ comfyui:
    default_workflow: "runninghub/image_flux.json"
    prompt_prefix: "Minimalist illustration style"
  
+  video:
+    default_workflow: "runninghub/video_wan2.1_fusionx.json"
+    prompt_prefix: "Minimalist illustration style"
+  
  tts:
    default_workflow: "selfhost/tts_edge.json"
 ```
@@ -48,6 +52,13 @@ comfyui:
 - `default_workflow`: Default image generation workflow
 - `prompt_prefix`: Prompt prefix

+### Video Configuration
+
+- `default_workflow`: Default video generation workflow
+  - `runninghub/video_wan2.1_fusionx.json`: Cloud workflow (recommended, no local setup required)
+  - `selfhost/video_wan2.1_fusionx.json`: Local workflow (requires local ComfyUI support)
+- `prompt_prefix`: Video prompt prefix (controls video generation style)
+
 ### TTS Configuration

 - `default_workflow`: Default TTS workflow
--- a/docs/en/user-guide/templates.md
+++ b/docs/en/user-guide/templates.md
@@ -154,15 +154,39 @@ Suitable for Instagram, WeChat Moments, and other platforms.

 ---

+## Template Naming Convention
+
+Templates follow a unified naming convention to distinguish different types:
+
+- **`static_*.html`**: Static templates
+  - No AI-generated media content required
+  - Pure text style rendering
+  - Suitable for quick generation and low-cost scenarios
+
+- **`image_*.html`**: Image templates
+  - Uses AI-generated images as background
+  - Invokes ComfyUI image generation workflows
+  - Suitable for content requiring visual illustrations
+
+- **`video_*.html`**: Video templates
+  - Uses AI-generated videos as background
+  - Invokes ComfyUI video generation workflows
+  - Creates dynamic video content with enhanced expressiveness
+
 ## Template Structure

 Templates are located in the `templates/` directory, grouped by size:

 ```
 templates/
-├── 1080x1920/  # Portrait (11 templates)
-├── 1920x1080/  # Landscape (2 templates)
-└── 1080x1080/  # Square (1 template)
+├── 1080x1920/  # Portrait
+│   ├── static_*.html   # Static templates
+│   ├── image_*.html    # Image templates
+│   └── video_*.html    # Video templates
+├── 1920x1080/  # Landscape
+│   └── image_*.html    # Image templates
+└── 1080x1080/  # Square
+    └── image_*.html    # Image templates
 ```

 ---
--- a/docs/en/user-guide/workflows.md
+++ b/docs/en/user-guide/workflows.md
@@ -16,10 +16,42 @@ Pixelle-Video is built on the ComfyUI architecture and supports custom workflows

 Located in `workflows/selfhost/` or `workflows/runninghub/`

+Used for Text-to-Speech, supporting various TTS engines:
+- Edge-TTS
+- Index-TTS (supports voice cloning)
+- Other ComfyUI-compatible TTS nodes
+
 ### Image Generation Workflows

 Located in `workflows/selfhost/` or `workflows/runninghub/`

+Used for generating static images as video backgrounds:
+- FLUX series models
+- Stable Diffusion series models
+- Other image generation models
+
+### Video Generation Workflows
+
+Located in `workflows/selfhost/` or `workflows/runninghub/`
+
+**New Feature**: Supports AI video generation to create dynamic video content.
+
+**Preset Workflows**:
+- `runninghub/video_wan2.1_fusionx.json`: Cloud workflow (recommended)
+  - Based on WAN 2.1 model
+  - No local setup required, accessed via RunningHub API
+  - Supports Text-to-Video generation
+  
+- `selfhost/video_wan2.1_fusionx.json`: Local workflow
+  - Requires local ComfyUI environment
+  - Requires installation of corresponding video generation nodes
+  - Suitable for users with local GPU
+
+**Use Cases**:
+- Works with `video_*.html` templates
+- Automatically generates dynamic video backgrounds based on scripts
+- Enhances visual expressiveness and viewing experience
+
 ---

 ## Custom Workflows
--- a/docs/zh/reference/config-schema.md
+++ b/docs/zh/reference/config-schema.md
@@ -21,6 +21,10 @@ comfyui:
    default_workflow: "runninghub/image_flux.json"
    prompt_prefix: "Minimalist illustration style"
  
+  video:
+    default_workflow: "runninghub/video_wan2.1_fusionx.json"
+    prompt_prefix: "Minimalist illustration style"
+  
  tts:
    default_workflow: "selfhost/tts_edge.json"
 ```
@@ -48,6 +52,13 @@ comfyui:
 - `default_workflow`: 默认图像生成工作流
 - `prompt_prefix`: 提示词前缀

+### 视频配置
+
+- `default_workflow`: 默认视频生成工作流
+  - `runninghub/video_wan2.1_fusionx.json`: 云端工作流（推荐，无需本地环境）
+  - `selfhost/video_wan2.1_fusionx.json`: 本地工作流（需要本地 ComfyUI 支持）
+- `prompt_prefix`: 视频提示词前缀（用于控制视频生成风格）
+
 ### TTS 配置

 - `default_workflow`: 默认 TTS 工作流
--- a/docs/zh/user-guide/templates.md
+++ b/docs/zh/user-guide/templates.md
@@ -154,15 +154,39 @@

 ---

+## 模板命名规范
+
+模板采用统一的命名规范来区分不同类型：
+
+- **`static_*.html`**: 静态模板
+  - 无需 AI 生成任何媒体内容
+  - 纯文字样式渲染
+  - 适合快速生成、低成本场景
+
+- **`image_*.html`**: 图片模板
+  - 使用 AI 生成的图片作为背景
+  - 调用 ComfyUI 的图像生成工作流
+  - 适合需要视觉配图的内容
+
+- **`video_*.html`**: 视频模板
+  - 使用 AI 生成的视频作为背景
+  - 调用 ComfyUI 的视频生成工作流
+  - 创建动态视频内容，增强表现力
+
 ## 模板结构

 模板位于 `templates/` 目录，按尺寸分组：

 ```
 templates/
-├── 1080x1920/  # 竖屏（11个模板）
-├── 1920x1080/  # 横屏（2个模板）
-└── 1080x1080/  # 方形（1个模板）
+├── 1080x1920/  # 竖屏
+│   ├── static_*.html   # 静态模板
+│   ├── image_*.html    # 图片模板
+│   └── video_*.html    # 视频模板
+├── 1920x1080/  # 横屏
+│   └── image_*.html    # 图片模板
+└── 1080x1080/  # 方形
+    └── image_*.html    # 图片模板
 ```

 ---
--- a/docs/zh/user-guide/workflows.md
+++ b/docs/zh/user-guide/workflows.md
@@ -16,10 +16,42 @@ Pixelle-Video 基于 ComfyUI 架构，支持自定义工作流。

 位于 `workflows/selfhost/` 或 `workflows/runninghub/`

+用于文本转语音（Text-to-Speech），支持多种 TTS 引擎：
+- Edge-TTS
+- Index-TTS（支持声音克隆）
+- 其他 ComfyUI 兼容的 TTS 节点
+
 ### 图像生成工作流

 位于 `workflows/selfhost/` 或 `workflows/runninghub/`

+用于生成静态图像作为视频背景：
+- FLUX 系列模型
+- Stable Diffusion 系列模型
+- 其他图像生成模型
+
+### 视频生成工作流
+
+位于 `workflows/selfhost/` 或 `workflows/runninghub/`
+
+**新功能**：支持 AI 视频生成，创建动态视频内容。
+
+**预置工作流**：
+- `runninghub/video_wan2.1_fusionx.json`: 云端工作流（推荐）
+  - 基于 WAN 2.1 模型
+  - 无需本地环境，通过 RunningHub API 调用
+  - 支持文本到视频（Text-to-Video）
+  
+- `selfhost/video_wan2.1_fusionx.json`: 本地工作流
+  - 需要本地 ComfyUI 环境
+  - 需要安装相应的视频生成节点
+  - 适合有本地 GPU 的用户
+
+**使用场景**：
+- 配合 `video_*.html` 模板使用
+- 自动根据文案生成动态视频背景
+- 增强视频的视觉表现力和观看体验
+
 ---

 ## 自定义工作流