Stable Diffusion web UI扩展-3D模型加载器

项目地址:https://github.com/jtydhr88/sd-3dmodel-loader

稳定的扩散WebUI 3D模型和姿势加载器

允许您在 webui 中加载本地 3D 模型/动画,或编辑姿势,然后将屏幕截图发送到 txt2img 或 img2img 作为 ControlNet 的参考图像。
1.png控制网.png

支持格式

目前,它支持两种模式加载多种类型。
文件模式
默认可以直接上传单文件,支持格式:

  1. 目录
  2. STL
  3. FBX
  4. 电压调节模块
  5. glb - 部分支持,它在模型上失败需要 KTX2 纹理(如 coffeemat.glb),需要弄清楚以后如何修复
  6. gltf - 部分支持,它在模型上失败 有其他资源(如 DamageHelmet.gltf),稍后将在多文件模式下修复

但它有可能支持更多,因为 threejs 确实如此。 因此,如果您想要其他格式,例如cmt,请随时打开一个问题,我稍后会添加它。
(我上传了两个模型,male02.objSanba Dancing.fbx,作为您的测试,您可以在 /models 文件夹下找到它们)

姿势支持

您可以使用姿势面板编辑VRM格式的姿势。姿势.png

安装

就像您安装webui的其他扩展一样:

  1. 转到扩展 -> 从 URL 安装
  2. 粘贴此存储库链接
  3. 安装
  4. 转到已安装,应用并重新启动 UI

或者您可以从扩展 ->可用 安装,并加载官方扩展链接,然后您可以在列表中找到此扩展。安装自官方链接.png

设置

请勿使用“设置”-> 3D 模型下的配置,它不起作用。
我稍后会删除它们。

Settings from page

There are 4 panels and several buttons on the page:

  1. Model - allow you to load your local 3d model file.
  2. Scene - control the canvas properties, list the objects in the scene
    1. click Refresh Scene Tree if there is nothing
    2. click Scene - to show up background color picker
      sceneColor.png
    3. visible checkbox is available on Directional LightGroundGridAxismainObject, you use it to show objects up or not
      sceneVisible.png
    4. Operate radio button is available on Directional LightHemisphere Light,和 mainObject, you use it to translate or rotate object from scene (in fact, I will use this to rebuild pose editor later)
      场景操作.png
    5. 单击预览相机 - 显示相机的近、远和视场
      场景摄像机.png
  3. 动画 - 在此处使用进度条控制FBX动画播放。
    动画面板.png
  4. 发送到 ControlNet - 在 ControlNet 上以 txt3img 或 img2img 发送 2D 模型的当前预览视图
    发送到控制网.png

操作

在 3D 模型加载器的主选项卡上,您可以使用:

  1. 鼠标左键 ->旋转相机
  2. 鼠标滚轮 - >放大或缩小
  3. 鼠标右键 - >移动相机