GliaCloud开源Omniverse-ComfyUI Bridge：AI视频生成效率与质量双重跃升
GliaCloud，一家专注于自主营销内容创建的台北AI初创公司，近期开源了Omniverse-ComfyUI Bridge。该扩展模板旨在连接NVIDIA Omniverse中的视觉数据（如RGB图像、法线贴图、深度图、实例ID分割和语义分割）与ComfyUI，以增强AI图像处理工作流。此举源于GliaCloud团队在ComfyUI中试验视频到视频（v2v）生成式AI模型的经验，他们注意到当前工作流对深度图和分割输出等详细视觉数据的需求日益增长。“我们将NVIDIA Omniverse构建的先进物理-AI应用与生成式视频模型连接起来，看到了混合工作流的巨大潜力，”GliaCloud首席执行官兼联合创始人David Chen表示，“Omniverse平台和生成式AI模型提供的精细创意控制，对于新兴营销需求极具吸引力，能够为生成内容带来前所未有的视觉效果和可扩展性。”
通过整合Omniverse RTX渲染器的数据，GliaCloud在内部实验中观察到，通过不同的渲染数据作为v2v模型的输入，能够显著提升生成输出的精细度和对象控制能力。这得益于NVIDIA Omniverse Replicator框架，它通过创建基于分割输入的动态掩码，极大地改进了开源视频生成模型的整体输出。如今，v2v模型可以通过多次迭代处理单一输入，并为特定区域分配独立的提示，从而实现基于对象的风格控制。Omniverse-ComfyUI Bridge的轻量级架构确保了其灵活性、可扩展性和易于集成性，用户无需承担高昂的资源开销即可实现无缝采用，并可根据具体需求有效地扩展其工作流。该桥接器的核心功能包括单帧和多帧捕获、ComfyUI自定义节点集成以及实时数据处理，这些都显著缩短了迭代时间，提高了生产力。未来迭代预计将增加高级动画控制、人体姿态估算模型集成等功能，进一步提升AI驱动视觉工作流的控制力、准确性和创意自由度。
Amy Liu
网友讨论