Search K
Referencia del motor de IA
El paquete @snapotter/ai conecta Node.js con un sidecar de Python persistente para todas las operaciones de ML. El proceso despachador permanece activo entre solicitudes para lograr un arranque en caliente rápido. NVIDIA CUDA se detecta automáticamente al inicio y se usa cuando está disponible; de lo contrario, las herramientas de IA se ejecutan en la CPU.
La aceleración con iGPU de Intel/AMD a través de VA-API, Quick Sync u OpenCL no es compatible hoy con la inferencia de IA. Mapear /dev/dri dentro de un contenedor no acelera estas herramientas del sidecar de Python a menos que haya disponible una GPU NVIDIA compatible con CUDA.
19 herramientas de IA del sidecar de Python en cuatro modalidades (imagen, audio, video, documento), más 2 herramientas con capacidades de IA opcionales. Todos los modelos se ejecutan localmente: no se requiere internet tras la descarga inicial del modelo.
Arquitectura
Node.js Tool Route
|
v
@snapotter/ai bridge.ts
| (stdin/stdout JSON + stderr progress events)
v
Python dispatcher (persistent process, "ai" profile)
|
|-- remove_bg.py (rembg / BiRefNet)
|-- upscale.py (RealESRGAN)
|-- inpaint.py (LaMa ONNX)
|-- outpaint.py (LaMa canvas expansion)
|-- ocr.py (PaddleOCR / Tesseract)
|-- ocr_pdf.py (page-by-page document OCR)
|-- ocr_preprocess.py (image enhancement for OCR)
|-- detect_faces.py (MediaPipe)
|-- face_landmarks.py (MediaPipe landmarks)
|-- enhance_faces.py (GFPGAN / CodeFormer)
|-- colorize.py (DDColor)
|-- noise_removal.py (SCUNet / tiered denoising)
|-- red_eye_removal.py (landmark + color analysis)
|-- restore.py (scratch repair + enhancement + denoising)
|-- transcribe.py (faster-whisper speech-to-text)
+-- install_feature.py (on-demand bundle installer)Un perfil de despachador "docs" independiente reemplaza la lista de permitidos de IA con scripts de procesamiento de documentos (doc_pagecount, doc_health, doc_flatten, doc_redact, doc_text, doc_to_word, doc_metadata, doc_html_pdf) y omite las importaciones pesadas de ML.
Tiempos de espera: 300 s por defecto; OCR y la eliminación de fondo con BiRefNet obtienen 600 s.
Paquetes de funciones
Los modelos de IA se empaquetan por pila de dependencias compartida, no un archivo por herramienta. Un paquete de funciones puede habilitar varias herramientas cuando estas usan la misma familia de modelos, los mismos wheels de Python o las mismas librerías nativas. Esto mantiene la imagen Docker de la versión más pequeña y evita almacenar copias duplicadas de los mismos modelos de matting de fondo, detección de rostros, OCR, restauración y voz.
La imagen Docker incluye la aplicación más el entorno de ejecución común. Los archivos de modelos grandes se descargan bajo demanda en el volumen persistente /data/ai, y luego los reutiliza cada herramienta que los necesite. Si un paquete ya está instalado porque otra herramienta lo necesitó, habilitar una nueva herramienta dependiente no vuelve a descargar ese paquete.
Cada herramienta de IA requiere uno o más paquetes de funciones antes de poder ejecutarse. La interfaz de administración instala por herramienta a través de POST /api/v1/admin/tools/:toolId/features/install, que resuelve la lista completa de paquetes, omite los paquetes que ya están instalados y encola solo las descargas faltantes. Por ejemplo, habilitar Foto de pasaporte en una instancia nueva encola background-removal y face-detection; habilitarla después de que Eliminación de fondo ya está instalado encola solo face-detection.
| Paquete | Tamaño | Grupo de dependencias compartidas | Herramientas que lo usan |
|---|---|---|---|
background-removal | 4-5 GB | matting de fondo rembg / BiRefNet | remove-background, passport-photo, transparency-fixer, background-replace, blur-background |
face-detection | 200-300 MB | detección de rostros y puntos de referencia de MediaPipe | blur-faces, red-eye-removal, smart-crop |
object-eraser-colorize | 1-2 GB | inpainting/outpainting con LaMa y DDColor | erase-object, colorize, ai-canvas-expand |
upscale-enhance | 5-6 GB | RealESRGAN, GFPGAN / CodeFormer, reducción de ruido | upscale, enhance-faces, noise-removal |
photo-restoration | 4-5 GB | reparación de arañazos y pipeline de restauración | restore-photo |
ocr | 5-6 GB | pila de OCR PaddleOCR / Tesseract | ocr, ocr-pdf |
transcription | ~600 MB | modelos de voz a texto faster-whisper | transcribe-audio, auto-subtitles |
Herramientas con dependencias entre paquetes:
| Herramienta | Paquetes requeridos | Motivo |
|---|---|---|
passport-photo | background-removal, face-detection | Elimina el fondo y luego usa los puntos de referencia del rostro para encuadrar el recorte según las reglas de fotos de pasaporte y de identificación. |
enhance-faces | upscale-enhance, face-detection | Detecta rostros antes de ejecutar la mejora con GFPGAN o CodeFormer en las regiones de rostro seleccionadas. |
Una herramienta está disponible solo cuando todos sus paquetes requeridos están instalados. Las instalaciones parciales son válidas y se manejan de forma incremental: los paquetes instalados se reutilizan, los paquetes faltantes se muestran como descargas y las instalaciones en cola se ejecutan una a la vez para que el entorno de Python compartido no se modifique de forma concurrente.
Eliminación de fondo
Ruta de la herramienta: remove-background
Modelo: rembg con BiRefNet (por defecto) o variantes de U2-Net
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
model | string | - | Variante del modelo (anulación opcional) |
backgroundType | string | "transparent" | Uno de: transparent, color, gradient, blur, image |
backgroundColor | string | - | Color hexadecimal para fondo sólido |
gradientColor1 | string | - | Primer color del degradado |
gradientColor2 | string | - | Segundo color del degradado |
gradientAngle | number | - | Ángulo del degradado en grados |
blurEnabled | boolean | - | Activar el efecto de desenfoque de fondo |
blurIntensity | number (0-100) | - | Intensidad del desenfoque |
shadowEnabled | boolean | - | Activar la sombra proyectada sobre el sujeto |
shadowOpacity | number (0-100) | - | Opacidad de la sombra |
outputFormat | string | - | Formato de salida: png, webp o avif |
edgeRefine | integer (0-3) | - | Nivel de refinamiento de bordes |
decontaminate | boolean | - | Eliminar la contaminación de color de los bordes |
Reemplazo de fondo
Ruta de la herramienta: background-replace
Modelo: rembg / BiRefNet (compartido con remove-background)
Elimina el fondo y lo reemplaza por un color sólido o un degradado.
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
backgroundType | "color" | "gradient" | "color" | Modo de fondo |
color | string | "#ffffff" | Color hexadecimal del fondo (cuando backgroundType es color) |
gradientColor1 | string | - | Primer color hexadecimal del degradado |
gradientColor2 | string | - | Segundo color hexadecimal del degradado |
gradientAngle | integer (0-360) | 180 | Ángulo del degradado en grados |
feather | integer (0-20) | 0 | Radio de difuminado de bordes |
format | "png" | "webp" | "png" | Formato de salida |
Desenfocar fondo
Ruta de la herramienta: blur-background
Modelo: rembg / BiRefNet (compartido con remove-background)
Desenfoca el fondo mientras mantiene nítido al sujeto.
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
intensity | integer (1-100) | 50 | Intensidad del desenfoque |
feather | integer (0-20) | 0 | Radio de difuminado de bordes |
format | "png" | "webp" | "png" | Formato de salida |
Escalado de imagen
Ruta de la herramienta: upscale
Modelo: RealESRGAN (con respaldo Lanczos cuando no está disponible)
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
scale | number | 2 | Factor de escalado |
model | string | "auto" | Variante del modelo |
faceEnhance | boolean | false | Aplicar una pasada de mejora de rostros con GFPGAN |
denoise | number | 0 | Intensidad de la reducción de ruido |
format | string | "auto" | Anulación del formato de salida |
quality | number | 95 | Calidad de salida (1-100) |
OCR / Extracción de texto
Ruta de la herramienta: ocr
Modelos: Tesseract (rápido), PaddleOCR PP-OCRv5 (equilibrado), PaddleOCR-VL 1.5 (mejor)
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
quality | "fast" | "balanced" | "best" | "balanced" | Nivel de procesamiento |
language | string | "auto" | Idioma: auto, en, de, fr, es, zh, ja, ko |
enhance | boolean | true | Preprocesar la imagen para mejorar la precisión del OCR |
engine | string | - | Obsoleto. Asigna tesseract a fast, y paddleocr a balanced |
Devuelve resultados estructurados con cuadros delimitadores, puntuaciones de confianza y bloques de texto extraídos.
OCR de PDF
Ruta de la herramienta: ocr-pdf
Modelos: El mismo sistema de niveles que el OCR de imágenes
Extrae texto de documentos PDF escaneados usando OCR con IA, página por página.
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
quality | "fast" | "balanced" | "best" | "balanced" | Nivel de procesamiento |
language | string | "auto" | Idioma: auto, en, de, fr, es, zh, ja, ko |
pages | string | "all" | Selección de páginas: "all", "1-3", "1,3,5" |
Desenfoque de rostros / PII
Ruta de la herramienta: blur-faces
Modelo: detección de rostros de MediaPipe
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
blurRadius | number (1-100) | 30 | Radio del desenfoque gaussiano |
sensitivity | number (0-1) | 0.5 | Umbral de confianza de detección |
Mejora de rostros
Ruta de la herramienta: enhance-faces
Modelos: GFPGAN, CodeFormer
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
model | "auto" | "gfpgan" | "codeformer" | "auto" | Modelo de mejora |
strength | number (0-1) | 0.8 | Intensidad de la mejora |
sensitivity | number (0-1) | 0.5 | Umbral de detección de rostros |
onlyCenterFace | boolean | false | Mejorar solo el rostro más central |
Coloración con IA
Ruta de la herramienta: colorize
Modelo: DDColor (con respaldo OpenCV DNN)
Convierte fotos en blanco y negro o en escala de grises a color completo.
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
intensity | number (0-1) | 1.0 | Intensidad de la saturación de color |
model | "auto" | "ddcolor" | "opencv" | "auto" | Variante del modelo |
Eliminación de ruido
Ruta de la herramienta: noise-removal
Modelo: SCUNet (pipeline de reducción de ruido por niveles)
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
tier | "quick" | "balanced" | "quality" | "maximum" | "balanced" | Nivel de procesamiento |
strength | number (0-100) | 50 | Intensidad de la reducción de ruido |
detailPreservation | number (0-100) | 50 | Cuánto detalle preservar; un valor más alto conserva más textura |
colorNoise | number (0-100) | 30 | Intensidad de la reducción de ruido de color |
format | string | "original" | Formato de salida: original, png, jpeg, webp, avif, jxl |
quality | number (1-100) | 90 | Calidad de codificación de salida |
Eliminación de ojos rojos
Ruta de la herramienta: red-eye-removal
Detecta los puntos de referencia del rostro, localiza las regiones de los ojos y corrige la sobresaturación del canal rojo.
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
sensitivity | number (0-100) | 50 | Umbral de detección de píxeles rojos |
strength | number (0-100) | 70 | Intensidad de la corrección |
format | string | - | Anulación del formato de salida (opcional) |
quality | number (1-100) | 90 | Calidad de salida |
Restauración de fotos
Ruta de la herramienta: restore-photo
Pipeline de varios pasos para fotos antiguas o dañadas: detección y reparación de arañazos/roturas, mejora de rostros, reducción de ruido y coloración opcional.
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
scratchRemoval | boolean | true | Detectar y reparar arañazos, roturas |
faceEnhancement | boolean | true | Aplicar una pasada de mejora de rostros |
fidelity | number (0-1) | 0.7 | Intensidad de la mejora de rostros (mayor = más conservador) |
denoise | boolean | true | Aplicar una pasada de reducción de ruido |
denoiseStrength | number (0-100) | 25 | Intensidad de la reducción de ruido |
colorize | boolean | false | Colorizar tras la restauración |
colorizeStrength | number (0-100) | 85 | Intensidad de la coloración |
Foto de pasaporte
Ruta de la herramienta: passport-photo
Modelos: puntos de referencia del rostro de MediaPipe + eliminación de fondo con BiRefNet
Flujo de trabajo en dos fases: analizar (detectar rostro + eliminar fondo) y luego generar (recortar, redimensionar, mosaico). Admite más de 37 países en 6 regiones.
Fase 1: Analizar
POST /api/v1/tools/image/passport-photo/analyze
Acepta un archivo de imagen (multipart). Devuelve los datos de puntos de referencia del rostro, una vista previa en base64 y las dimensiones de la imagen.
Fase 2: Generar
POST /api/v1/tools/image/passport-photo/generate
Acepta un cuerpo JSON con los resultados de la Fase 1 más los ajustes de generación:
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
jobId | string | (requerido) | ID del trabajo de la Fase 1 |
filename | string | (requerido) | Nombre de archivo original de la Fase 1 |
countryCode | string | (requerido) | Código de país ISO (p. ej., US, GB, IN) |
documentType | string | "passport" | Tipo de documento |
bgColor | string | "#FFFFFF" | Color de fondo hexadecimal |
printLayout | string | "none" | Diseño de impresión: none, 4x6, a4, letter |
maxFileSizeKb | number | 0 | Tamaño máximo de archivo en KB (0 = sin límite) |
dpi | number (72-1200) | 300 | DPI de salida |
customWidthMm | number | - | Ancho personalizado en mm (anula la especificación del país) |
customHeightMm | number | - | Alto personalizado en mm (anula la especificación del país) |
zoom | number (0.5-3) | 1 | Factor de zoom |
adjustX | number | 0 | Ajuste de la posición horizontal |
adjustY | number | 0 | Ajuste de la posición vertical |
landmarks | object | (requerido) | Puntos de referencia de la Fase 1 |
imageWidth | number | (requerido) | Ancho de imagen de la Fase 1 |
imageHeight | number | (requerido) | Alto de imagen de la Fase 1 |
Borrado de objetos (inpainting)
Ruta de la herramienta: erase-object
Modelo: LaMa vía ONNX Runtime
La máscara se envía como una segunda parte de archivo (nombre de campo mask), no como base64. Los píxeles blancos en la máscara indican las áreas a borrar. Los ajustes format y quality se envían como campos de formulario de nivel superior.
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
file | file | (requerido) | Imagen de origen (multipart) |
mask | file | (requerido) | Imagen de máscara (multipart, nombre de campo mask, blanco = borrar) |
format | string | "auto" | Formato de salida: auto, png, jpg, jpeg, webp, tiff, gif, avif, heic, heif, jxl |
quality | integer (1-100) | 95 | Calidad de salida |
Acelerado por CUDA cuando hay disponible una GPU NVIDIA.
Expansión de lienzo con IA
Ruta de la herramienta: ai-canvas-expand
Modelo: outpainting basado en LaMa
Expande el lienzo de una imagen en cualquier dirección y rellena las áreas nuevas con contenido generado por IA que coincide con la imagen existente.
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
extendTop | integer | 0 | Píxeles a extender por arriba |
extendRight | integer | 0 | Píxeles a extender por la derecha |
extendBottom | integer | 0 | Píxeles a extender por abajo |
extendLeft | integer | 0 | Píxeles a extender por la izquierda |
tier | "fast" | "balanced" | "high" | "balanced" | Nivel de calidad |
format | string | "auto" | Formato de salida: auto, png, jpg, jpeg, webp, tiff, gif, avif, heic, heif, jxl |
quality | integer (1-100) | 95 | Calidad de salida |
Al menos una dirección de extensión debe ser mayor que 0.
Recorte inteligente
Ruta de la herramienta: smart-crop
Modelo: detección de rostros de MediaPipe (solo en modo rostro)
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
mode | string | "subject" | Estrategia de recorte: subject, face, trim |
strategy | "attention" | "entropy" | "attention" | Estrategia para el modo sujeto |
width | integer | - | Ancho de salida |
height | integer | - | Alto de salida |
padding | integer (0-50) | 0 | Porcentaje de relleno alrededor del sujeto |
facePreset | string | "head-shoulders" | Encuadre predefinido cuando mode=face |
sensitivity | number (0-1) | 0.5 | Umbral de detección de rostros |
threshold | integer (0-255) | 30 | Umbral de detección de fondo (modo recorte) |
padToSquare | boolean | false | Rellenar el resultado recortado hasta un cuadrado |
padColor | string | "#ffffff" | Color de fondo para el relleno cuadrado |
targetSize | integer | - | Tamaño objetivo para la salida rellenada (píxeles) |
quality | integer (1-100) | - | Calidad de salida |
Los valores heredados de mode, attention y content, se aceptan y se asignan a subject y trim respectivamente.
Ajustes predefinidos de rostro:
| Ajuste predefinido | Mejor para |
|---|---|
closeup | Retratos de cabeza |
head-shoulders | Fotos de perfil |
upper-body | LinkedIn / formal |
half-body | Parte superior completa del cuerpo |
Transcribir audio
Ruta de la herramienta: transcribe-audio
Modelo: faster-whisper
Convierte voz en texto. Admite formatos de salida de texto plano, SRT y VTT.
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
language | string | "auto" | Idioma: auto, en, de, fr, es, zh, ja, ko, id, th, vi |
outputFormat | "txt" | "srt" | "vtt" | "txt" | Formato de salida |
Subtítulos automáticos
Ruta de la herramienta: auto-subtitles
Modelo: faster-whisper (extrae el audio del video y luego lo transcribe)
Genera archivos de subtítulos a partir de la pista de audio de un video.
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
language | string | "auto" | Idioma: auto, en, de, fr, es, zh, ja, ko, id, th, vi |
format | "srt" | "vtt" | "srt" | Formato de subtítulos de salida |
Corrector de transparencia PNG
Ruta de la herramienta: transparency-fixer
Modelo: matting HR de BiRefNet (resolución 2048x2048)
Corrige los PNG con "falsa transparencia", donde se eliminó el fondo pero quedaron bordes irregulares, halos o artefactos semitransparentes. Usa el modelo de matting de alta resolución de BiRefNet para producir un canal alfa limpio y luego aplica un procesamiento de eliminación de bordes configurable para quitar la contaminación de color a lo largo de los bordes.
Cadena de respaldo ante OOM: Si el matting HR de BiRefNet supera la memoria disponible, la herramienta recurre automáticamente a birefnet-general, y luego a u2net.
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
defringe | number (0-100) | 30 | Intensidad de la eliminación de bordes para quitar la contaminación de color |
outputFormat | "png" | "webp" | "png" | Formato de imagen de salida |
removeWatermark | boolean | false | Aplicar preprocesamiento de eliminación de marca de agua (filtro de mediana) |
bash
curl -X POST http://localhost:1349/api/v1/tools/image/transparency-fixer \
-H "Authorization: Bearer <token>" \
-F "[email protected]" \
-F 'settings={"defringe":30,"outputFormat":"png"}'Herramientas con capacidades de IA opcionales
Las siguientes herramientas no son herramientas del sidecar de Python, pero usan funciones de IA cuando se activan ciertas opciones.
Mejora de imagen
Ruta de la herramienta: image-enhancement
Motor: Basado en análisis (histograma y estadísticas de Sharp)
Analiza la imagen y aplica correcciones automáticas de exposición, contraste, balance de blancos, saturación, nitidez y ruido. Admite modos específicos de escena.
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
mode | "auto" | "portrait" | "landscape" | "low-light" | "food" | "document" | "auto" | Modo de escena para ajustar las correcciones |
intensity | number (0-100) | 50 | Intensidad general de la corrección |
corrections.exposure | boolean | true | Aplicar corrección de exposición |
corrections.contrast | boolean | true | Aplicar corrección de contraste |
corrections.whiteBalance | boolean | true | Aplicar corrección de balance de blancos |
corrections.saturation | boolean | true | Aplicar corrección de saturación |
corrections.sharpness | boolean | true | Aplicar corrección de nitidez |
corrections.denoise | boolean | true | Aplicar reducción de ruido |
deepEnhance | boolean | false | Activar la eliminación de ruido con IA vía SCUNet (requiere el paquete upscale-enhance) |
Hay disponible un endpoint de análisis adicional en POST /api/v1/tools/image/image-enhancement/analyze que devuelve las correcciones detectadas sin aplicarlas.
Redimensionado con reconocimiento de contenido (seam carving)
Ruta de la herramienta: content-aware-resize
Motor: binario caire de Go (no Python: sin beneficio de GPU)
Redimensiona imágenes de forma inteligente eliminando costuras de baja energía, preservando el contenido importante.
| Parámetro | Tipo | Por defecto | Descripción |
|---|---|---|---|
width | number | - | Ancho objetivo |
height | number | - | Alto objetivo |
protectFaces | boolean | false | Proteger las regiones de rostro detectadas (requiere el paquete face-detection) |
blurRadius | number (0-20) | 4 | Predesenfoque para el cálculo de energía |
sobelThreshold | number (1-20) | 2 | Umbral de sensibilidad de bordes |
square | boolean | false | Forzar salida cuadrada |