Presentación
En muchas herramientas generativas, modelos, referencias, parámetros y tratamientos permanecen ocultos detrás de una sucesión de botones.
ComfyUI lo pone todo sobre la mesa.
Cada operación se vuelve un nodo.
Cada conexión muestra cómo un dato pasa de una etapa a otra.
El resultado resulta a veces intimidante, pero la idea es sencilla:
ComfyUI transforma el pipeline generativo en un grafo visual.
Un workflow puede comenzar con algunos bloques para cargar un modelo, interpretar un prompt y producir una imagen.
Puede luego recibir referencias, máscaras, LoRA, controles de pose, segmentación, upscale, vídeo, audio o llamadas hacia servicios remotos.
El valor de ComfyUI no viene, pues, de una lista fija de modelos compatibles.
Los modelos cambian.
El workflow sigue siendo el método.
Esta arquitectura permite reemplazar una pieza sin reconstruir necesariamente toda la lógica del proyecto.
Esta es probablemente una de las razones por las que ComfyUI resiste mejor que muchas interfaces a la rotación extremadamente rápida de los modelos generativos.
Cuando aparece una nueva familia, puede convertirse en una nueva pieza del grafo más que exigir una aplicación enteramente diferente.
ComfyUI pertenece así tanto al mundo de la generación como al de la programación visual.
Ya no se pregunta solamente:
«¿Qué quieres generar?»
Se empieza también a preguntar:
«¿Cómo quieres generarlo?»
Esta diferencia resulta profunda.
Una interfaz de gran público elige a menudo por el usuario el modelo, el sampler, el orden de los tratamientos o la manera en que se utiliza una referencia.
ComfyUI expone estas decisiones.
Esta transparencia explica su potencia.
También explica su curva de aprendizaje.
Al principio, el canvas puede parecer innecesariamente complejo para una tarea que otra herramienta realiza con un botón.
La lógica se vuelve más convincente en cuanto una referencia, una máscara, una segunda pasada, una corrección o un modelo de vídeo debe añadirse al mismo proceso.
ComfyUI puede funcionar localmente, en la nube o en un workflow híbrido que llama a ciertos servicios externos.
Su núcleo es open source.
Los modelos, extensiones y servicios utilizados en el grafo pueden seguir licencias y condiciones totalmente diferentes.
Funcionalidades
Construir un workflow con nodos
El canvas representa cada etapa como una operación que posee entradas, salidas y parámetros.
Una salida puede alimentar varias ramas.
Un modelo puede reemplazarse.
Dos métodos pueden compararse dentro del mismo grafo.
Esta visibilidad transforma el workflow en objeto manipulable más que en una sucesión de opciones ocultas.
Esta es una de las diferencias esenciales con una interfaz clásica.
El creador puede ver dónde interviene el prompt, dónde se codifica la imagen, dónde se aplica la máscara y dónde el resultado pasa por una segunda etapa.
La generación se vuelve una cadena explícita.
Plantillas pueden proporcionar puntos de partida listos para usar con el fin de evitar el canvas vacío.
La profundidad sigue disponible para quienes quieran comprender o modificar la cadena.
Controlar la inferencia.
ComfyUI expone numerosos parámetros que otras interfaces simplifican o enmascaran.
Según los modelos utilizados, un workflow puede controlar seed, número de pasos, sampler, scheduler, resolución, conditioning, denoise, encoders u orden de los tratamientos.
El valor no está en aprender de memoria cada ajuste.
Está en comprender que una generación no depende nunca del prompt solo.
El modelo, las referencias, el número de pasos, la manera en que se retira el ruido o el nivel de transformación participan en el resultado.
Esta granularidad se vuelve útil cuando un usuario busca comparar dos métodos o comprender por qué una generación se comporta de manera diferente.
ComfyUI vuelve visible una evidencia a menudo enmascarada: una generación es un proceso, no un botón.
Combinar modelos y componentes
Los sistemas generativos modernos ya no se reducen siempre a un único archivo.
Un workflow puede asociar varios elementos: modelo principal, encoder, VAE, LoRA, control visual, modelo de upscale, detección, segmentación o componente de vídeo.
ComfyUI permite construir explícitamente estas asociaciones.
Varios modelos pueden intervenir en diferentes momentos.
Una primera etapa puede construir la composición.
Una segunda afina ciertos detalles.
Una tercera agranda la imagen.
Una cuarta transforma el resultado en vídeo.
Esta modularidad explica por qué la herramienta se adapta relativamente bien a las nuevas familias de modelos.
La lista precisa de tecnologías compatibles se vuelve rápidamente perecedera.
La arquitectura que permite combinarlas resulta mucho más durable.
Referencias, máscaras y controles.
ComfyUI se vuelve particularmente interesante cuando la generación ya no reposa únicamente sobre texto.
Una imagen puede guiar la composición o la identidad.
Una pose puede constreñir un personaje.
Una máscara puede aislar una zona.
Un mapa de profundidad puede orientar la estructura.
Una segmentación puede preparar un tratamiento diferente para varias partes de la imagen.
Estas piezas transforman el workflow en verdadera cadena de control.
El usuario elige progresivamente lo que deja al modelo y lo que quiere constreñir.
Esta lógica resulta fundamental para las producciones donde la coherencia cuenta más que la sorpresa.
Imagen, vídeo, audio y workflows híbridos
ComfyUI ya no se asocia únicamente a la generación de imágenes.
Su arquitectura puede recibir varias familias de modelos y tratamientos para el vídeo, el audio u otras modalidades.
El verdadero valor sigue siendo el mismo:
conectar varias etapas en un único proceso.
Una imagen validada puede volver entrada de un modelo de vídeo.
El resultado puede luego tratarse, agrandarse o exportarse.
Una cadena local puede igualmente llamar puntualmente a un servicio propietario remoto si una función específica no está disponible en la máquina.
Esta flexibilidad permite elegir etapa por etapa entre control local y potencia cloud.
Exige saber exactamente qué datos salen de la máquina.
Guardar y reproducir el método
Los workflows pueden guardarse y compartirse.
Ciertas imágenes pueden igualmente conservar en sus metadatos una parte de la receta utilizada.
Esta capacidad resulta extremadamente importante en un entorno probabilístico.
Un resultado interesante ya no es solamente una imagen final.
Puede permanecer ligado a su proceso.
Esta memoria facilita:
- archivado;
- comparación;
- reanudación de un antiguo proyecto;
- transmisión a un equipo;
- variación controlada;
- diagnóstico.
La reproductibilidad sigue siendo relativa.
Un archivo JSON describe el grafo.
No transporta automáticamente los modelos, extensiones, versiones y dependencias de la máquina de origen.
El workflow contiene la receta. No toda la despensa.
Custom nodes
El sistema de custom nodes constituye uno de los grandes motores del ecosistema ComfyUI.
Desarrolladores pueden añadir nuevos modelos, tratamientos, preprocessors, API, loaders o herramientas especializadas.
Esta velocidad de integración resulta impresionante.
Una novedad puede estar disponible en la comunidad mucho antes de integrarse oficialmente al núcleo de la aplicación.
Esta apertura posee un coste.
Un custom node es código ejecutable.
Puede abandonarse, romper una dependencia o presentar un riesgo de seguridad.
El ecosistema comunitario es, pues, a la vez:
el superpoder de ComfyUI y una de sus principales fuentes de fragilidad.
Un workflow destinado a durar debe limitar sus dependencias inútiles y conservar una traza de las versiones utilizadas.
Manager, Registry y mantenimiento.
Las herramientas de gestión de las extensiones facilitan instalación, actualización y descubrimiento de los custom nodes.
Esta capa reduce una parte de la fricción histórica.
No suprime la necesidad de mantener el entorno.
Actualizar todo un ecosistema sin precaución puede romper un workflow importante.
Para una producción seria, el entorno debe tratarse como un proyecto software:
versiones, copias de seguridad y pruebas cuentan.
Subgraphs y modularidad
Los grandes grafos se vuelven rápidamente difíciles de leer.
Los Subgraphs permiten agrupar varios nodos en una única pieza reutilizable.
Un pipeline de upscale puede volverse un módulo.
Un tratamiento de máscara puede volverse otro.
Esta función acerca ComfyUI a la programación modular.
En lugar de rec copiar continuamente la misma secuencia, se construye una función visual.
Recibe entradas.
Efectúa su trabajo.
Devuelve salidas.
Esta organización se vuelve esencial cuando los workflows superan la experimentación personal.
App Mode: separar constructor y usuario.
Un workflow complejo no necesita mostrarse tal cual a cada usuario.
App Mode permite exponer únicamente ciertos parámetros: prompt, imagen de entrada, elección de modelo, intensidad u otros controles útiles.
El grafo permanece bajo el capó.
Esta separación resulta extremadamente interesante para un equipo.
Un technical artist puede construir un workflow complejo.
Un ilustrante puede luego utilizarlo sin comprender cada conexión.
ComfyUI se vuelve entonces menos una interfaz individual que una plataforma que permite fabricar herramientas generativas especializadas.
No todo el mundo necesita ver los cables para beneficiarse del workflow.
Local, nube y Partner Nodes
Un workflow puede funcionar enteramente en local cuando los modelos y tratamientos están instalados en la máquina.
También puede ejecutarse en una infraestructura cloud.
Ciertas piezas pueden llamar a servicios remotos o propietarios.
Esta arquitectura híbrida resulta importante porque evita una oposición simplista entre local y nube.
El local ofrece control, confidencialidad y ausencia de coste por generación tras la inversión material.
La nube ofrece más cálculo y simplifica ciertos despliegues.
Un workflow puede elegir uno u otro según la etapa.
El término «workflow local» debe, pues, usarse con prudencia.
Un único nodo remoto basta para que ciertos datos salgan de la máquina.
Utilizar ComfyUI como backend
ComfyUI puede igualmente funcionar como backend.
Un software puede enviar un workflow, proporcionar sus entradas, seguir la ejecución y luego recuperar el resultado sin mostrar el grafo al usuario final.
Esta capacidad cambia enormemente el alcance de la herramienta.
El workflow visual se vuelve el equivalente de un programa.
El canvas sirve para construir y validar la cadena.
Una aplicación puede luego llamarlo como un servicio.
Esta arquitectura resulta particularmente interesante para los equipos que quieren integrar IA generativa en un producto sin recodificar por completo una cadena ya probada.
Permite también hacer evolucionar el modelo detrás de la aplicación sin reconstruir necesariamente toda la interfaz de usuario.
Casos de uso
Construir un pipeline de creación de imágenes
Referencias, generación, correcciones y upscale pueden conectarse en una cadena reproducible más que repetirse manualmente.
Construir una plancha de character design
Varias vistas, poses o expresiones pueden producirse a partir de una base común con controles y referencias compartidos.
Crear una cadena imagen a vídeo
Una imagen validada puede alimentar un modelo de vídeo y luego otros tratamientos sin salir del workflow general.
Producir variantes en serie
Un pipeline puede generar varias combinaciones a partir de entradas o parámetros diferentes.
Construir un workflow de upscale o restauración
Una imagen puede pasar por varios modelos de corrección, limpieza o ampliación.
Trabajar enteramente en local
Con el material y los modelos adaptados, ComfyUI puede ofrecer un entorno privado sin coste en cada generación.
Combinar local y nube
Un pipeline local puede llamar puntualmente a un servicio remoto para una etapa particularmente costosa o especializada.
Compartir un método de producción
Un equipo puede transmitir un workflow documentado con el fin de reproducir los mismos pasos en varios puestos o proyectos.
Transformar un workflow en herramienta sencilla
App Mode permite esconder la complejidad del grafo detrás de una interfaz destinada a otro usuario.
Integrar un workflow en un software
Una cadena visual probada en ComfyUI puede volverse un backend llamado por una aplicación o un servicio.
Opinión PANACHES
ComfyUI expone la mecánica
Su primera calidad es también lo que suele asustar en el primer lanzamiento: casi todo está visible.
Esta transparencia ayuda a comprender que el resultado depende del modelo, de las referencias, de las transformaciones y del orden de las operaciones tanto como del texto proporcionado.
El workflow se vuelve más importante que el prompt
ComfyUI vuelve a situar la generación en una lógica de pipeline.
Un buen resultado no viene necesariamente de una formulación más elegante.
Puede venir de una mejor manera de encadenar las herramientas.
Esta es probablemente su aportación conceptual más importante.
Envejece mejor que las interfaces centradas en un único modelo
Los modelos cambian extremadamente rápido.
Una interfaz construida en torno a una sola familia puede perder rápidamente pertinencia.
ComfyUI posee más posibilidades de sobrevivir a esta rotación porque su verdadero valor se encuentra en la orquestación.
La nueva tecnología se vuelve una nueva pieza.
La reproductibilidad es una verdadera fuerza
Poder guardar el método, conservar los parámetros y compartir el workflow cambia enormemente la práctica.
Una generación interesante ya no está condenada a permanecer como un feliz accidente del que nadie se acuerda algunas semanas después.
Esta reproductibilidad sigue siendo relativa a las dependencias.
Resulta, sin embargo, mucho más fuerte que en muchas interfaces de gran público.
La libertad exige disciplina
La modularidad puede fácilmente producir grafos gigantescos a los que nadie se atreve a tocar algunas semanas después.
Un grafo puede volverse ilegible tan rápido como un mal proyecto software.
Grupos, subgrafos, convenciones de nomenclatura y documentación se vuelven esenciales cuando el workflow crece.
ComfyUI permite una buena arquitectura.
No la impone.
Los custom nodes son un superpoder y un riesgo
La comunidad puede integrar muy rápidamente nuevos métodos.
Pero una extensión sigue siendo código ejecutable y una dependencia suplementaria.
La velocidad del ecosistema debe, pues, ir acompañada de una verdadera estrategia de mantenimiento.
App Mode y la API cambian su papel
ComfyUI ya no es solamente una herramienta destinada a la persona que construye el grafo.
Puede volverse la infraestructura detrás de una interfaz simplificada o un software completo.
Esta separación entre constructor del pipeline y usuario del pipeline resulta particularmente interesante para los equipos.
Local y nube no son enemigos
El local aporta control y confidencialidad.
La nube aporta material potente y flexibilidad de despliegue.
ComfyUI se vuelve particularmente interesante cuando permite elegir el enfoque en función de la etapa más que imponer una filosofía única.
Puntos de atención
- El núcleo de ComfyUI es open source, pero los modelos y extensiones poseen sus propias licencias.
- Un workflow puede ser local mientras llama a servicios remotos; hay que identificar qué nodos utilizan Internet.
- Los custom nodes son código ejecutable y deben provenir de fuentes fiables.
- Las dependencias y actualizaciones pueden romper un workflow existente.
- Un archivo de workflow no contiene automáticamente los modelos y extensiones necesarios.
- Las versiones importantes de un entorno deben archivarse o documentarse.
- Los proyectos complejos deben estructurarse para seguir siendo mantenibles.
- Los grafos enormes pueden volverse tan difíciles de mantener como un mal proyecto software.
- El material local sigue siendo determinante, particularmente para el vídeo o los grandes modelos.
- La nube y los servicios socios pueden generar costes separados.
- Los datos sensibles deben evaluarse de manera diferente según que el workflow sea local, cloud o híbrido.
- App Mode y los usos API enmascaran la complejidad para el usuario final, pero el pipeline y su backend deben seguir mantenidos y asegurados.