Pricing

Notas de la versión de septiembre de TerrariumDB

En la actualización de este mes, compartimos las notas de lanzamiento de TerrariumDB v8.0. Esta versión introduce cambios importantes en almacenamiento, SQL, seguridad y observabilidad, junto con una serie de mejoras y correcciones. En el artículo, encontrarás un desglose de novedades, mejoras y aspectos clave a tener en cuenta para la implementación y compatibilidad.

TerrariumDB v8.0 presenta un nuevo Storage Core Format (SCF4) con motores de almacenamiento enchufables y aislamiento de rutas de ejecución, además de importantes incorporaciones de SQL: DELETE, WITH, multi-JOINs y TRUNCATE ALL.

La seguridad se refuerza con el gRPC protegido por TLS de forma predeterminada, y la observabilidad se mejora en todas las métricas y los registros. A nivel operativo, la versión v8.0 reduce el uso de la CPU para los servicios de ingesta y acelera las copias de seguridad. Internamente, se logra una ejecución de consultas más rápida y predecible gracias a un trabajo perfeccionado de planificación y agrupamiento de subprocesos, además de numerosas correcciones que mejoran la corrección del SQL, estabilizan los flujos entre agregador y trabajador y aseguran un cierre más limpio.

Qué hay de nuevo

  • Motores de almacenamiento enchufables: una API de motor de almacenamiento estable que desvincula la consulta/ejecución de la persistencia, lo que permite a la base de datos cargar una única implementación de motor que abarque todo el proceso (por ejemplo, en fila, en columnas, LSM, en memoria o respaldada en la nube) al inicio e intercambiarla o actualizarla sin cambiar el código de la aplicación.
  • Unificación del intérpretes paralelos: se fusionan los intérpretes de GROUP BY y ORDER BY para mejorar el procesamiento paralelo.
  • SQL: instrucción DELETE: eliminación de filas nativas en la capa SQL.
  • Punto final de búsqueda de índice de segmento: devuelve el índice de segmento coincidente (o null) para un cliente a través del flujo agregador/trabajador.
  • SQL: compatibilidad con WITH (CTE): composición de consultas más rica.
  • SQL: múltiples JOINs: soporte para múltiples operaciones JOIN en una sola consulta.
  • Herramienta de rebalanceo: script para redistribuir shards y facilitar el movimiento controlado de datos en el clúster y el agregador.
  • gRPC TLS por defecto: cadenas de certificados de un solo archivo, TLS 1.2+ (preferentemente 1.3), validación de SAN.
  • Búsqueda de índices de segmentos de clientes: un nuevo punto final en la capa de análisis devuelve el índice de segmentos coincidente por cliente para acelerar las decisiones de enrutamiento en tiempo real.

Mejoras

  • Soporte para el motor SCF4: nuevo formato en disco sin conversión a SCF2 durante las lecturas; base para futuras optimizaciones específicas por tipo.
  • Estrategias de compresión SCF4: evaluación por segmento y por columna completa para reducir el almacenamiento y la E/S.
  • Aislamiento del grupo de subprocesos SQL: agrupamiento dedicado a los trabajadores para la capa SQL (JOIN, GROUP BY, ORDER BY, etc.).
  • Grupo dedicado de subprocesos para ingestión (capa analítica): separa la ingestión de otras tareas SQL para proteger la latencia bajo presión de escritura.
  • TRUNCATE ALL TABLES: comando de gestión para truncar múltiples tablas en una base de datos.
  • Observabilidad: registros SQL: campos más completos (inicio/finalización, duración, parámetros, filas, usuario/host, estado) y tiempos de ejecución de los trabajadores; espacio reducido para los tipos de consultas sin seguimiento.
  • Métricas operativas: se añade usuario/host a MYSQL_ACTIVE_CONNECTIONS y nuevas métricas para el agregador/controlador.
  • Seguridad y experiencia de autenticación: invalidación de caché de contraseñas en gateways al usar ALTER USER; suites de prueba para usuarios/roles y privilegios; SHOW ROLE EDGES.
  • Concurrencia: RAND () reescrito para ser compatible con múltiples hilos.
  • Compatibilidad con clientes: se añade la variable default_storage_engine requerida para la conectividad del cliente SQL.

Correcciones

  • Estabilidad del agregador: un manejo más seguro de los datos de error; evita las desconexiones cuando la sesión del servicio de coordinación no está inicializada; cancela las RPCs de transmisión antes de apagarlas.
  • Rendimiento en zonas horarias: se resolvió la ralentización causada por una capa de tiempo de ejecución personalizada de fecha/hora.
  • Correcciones en SQL:
    • deserialización adecuada para GROUP BY;
    • corrección en expansión de esquema con *;
    • CAST … AS CHAR ahora copia por tamaño en bytes;
    • escape correcto para patrones como \[abc] en LIKE;
    • se elimina el espacio en blanco de los registros SQL.
  • Compilación y robustez: corrección en la compilación para Debian Trixie; protección contra JSON excesivamente profundo en consultas serializadas con excepción clara en lugar de “Unknown statement”.

Notas de compatibilidad e implementación

  • Formato de almacenamiento (SCF4). SCF4 se convierte en el formato principal y elimina las conversiones SCF2 durante la lectura. Se esperan menos archivos físicos por conjunto de datos, copias de seguridad más rápidas y una base mejor para futuras optimizaciones por tipo. Planifica migraciones y políticas de respaldo en consecuencia.
  • Separación de grupo de subprocesos: nuevos agrupamientos para SQL e ingestión aíslan cargas de trabajo; valida reservas/límites de CPU y actualiza SLOs/alertas para reflejar los nuevos agrupamientos.
  • Transporte seguro: aplica TLS para todos los oyentes y clientes de gRPC usando paquetes PEM en un solo archivo (confianza del servidor y del cliente). Verifica SANs y políticas de cifrado antes de habilitar a nivel de clúster .

Lecturas adicionales y benchmarks

Formato de almacenamiento SCF4

Entregamos una capa de almacenamiento completamente nueva con archivos columnares rediseñados, codificaciones vectoriales personalizadas y diccionarios optimizados. Esto redujo el uso del disco en un 20%, la RAM en un 31% y la carga de la CPU en aproximadamente un 30%, a la vez que redujo significativamente las latencias de las consultas (hasta un 80% más rápido p50 con cargas de trabajo mixtas).

Codificación de columnas más inteligente

Las columnas ahora utilizan tipos de fragmentos especializados para valores repetidos, ordenados y booleanos (dictionary, dChunks, vChunks). Estas optimizaciones permiten un almacenamiento más compacto y un acceso más rápido, lo que allana el camino para nuevas mejoras a nivel de archivos.

Arquitectura de hilos para ingestión

Un nuevo modelo de ejecución basado en agrupamiento de hilos para los servicios de ingestión, combinado con SCF4, mejoró la eficiencia de la CPU. Las reservas de CPU en los servicios de ingestión se redujeron en ~45%, aumentando la  eficiencia de uso del 57 al 66% y reduciendo directamente los costos operativos de los clústeres.

Use Cases

We’ve expanded our use case catalog with new, real-world scenarios! 🚀 Built on insights from our customers and powered by the latest features in our platform, these use cases are designed to help you unlock even more value.

Notas de la versión de septiembre de TerrariumDB

En la actualización de este mes, compartimos las notas de lanzamiento de TerrariumDB v8.0. Esta versión introduce cambios importantes en almacenamiento, SQL, seguridad y observabilidad, junto con una serie de mejoras y correcciones. En el artículo, encontrarás un desglose de novedades, mejoras y aspectos clave a tener en cuenta para la implementación y compatibilidad.

TerrariumDB v8.0 presenta un nuevo Storage Core Format (SCF4) con motores de almacenamiento enchufables y aislamiento de rutas de ejecución, además de importantes incorporaciones de SQL: DELETE, WITH, multi-JOINs y TRUNCATE ALL.

La seguridad se refuerza con el gRPC protegido por TLS de forma predeterminada, y la observabilidad se mejora en todas las métricas y los registros. A nivel operativo, la versión v8.0 reduce el uso de la CPU para los servicios de ingesta y acelera las copias de seguridad. Internamente, se logra una ejecución de consultas más rápida y predecible gracias a un trabajo perfeccionado de planificación y agrupamiento de subprocesos, además de numerosas correcciones que mejoran la corrección del SQL, estabilizan los flujos entre agregador y trabajador y aseguran un cierre más limpio.

Qué hay de nuevo

  • Motores de almacenamiento enchufables: una API de motor de almacenamiento estable que desvincula la consulta/ejecución de la persistencia, lo que permite a la base de datos cargar una única implementación de motor que abarque todo el proceso (por ejemplo, en fila, en columnas, LSM, en memoria o respaldada en la nube) al inicio e intercambiarla o actualizarla sin cambiar el código de la aplicación.
  • Unificación del intérpretes paralelos: se fusionan los intérpretes de GROUP BY y ORDER BY para mejorar el procesamiento paralelo.
  • SQL: instrucción DELETE: eliminación de filas nativas en la capa SQL.
  • Punto final de búsqueda de índice de segmento: devuelve el índice de segmento coincidente (o null) para un cliente a través del flujo agregador/trabajador.
  • SQL: compatibilidad con WITH (CTE): composición de consultas más rica.
  • SQL: múltiples JOINs: soporte para múltiples operaciones JOIN en una sola consulta.
  • Herramienta de rebalanceo: script para redistribuir shards y facilitar el movimiento controlado de datos en el clúster y el agregador.
  • gRPC TLS por defecto: cadenas de certificados de un solo archivo, TLS 1.2+ (preferentemente 1.3), validación de SAN.
  • Búsqueda de índices de segmentos de clientes: un nuevo punto final en la capa de análisis devuelve el índice de segmentos coincidente por cliente para acelerar las decisiones de enrutamiento en tiempo real.

Mejoras

  • Soporte para el motor SCF4: nuevo formato en disco sin conversión a SCF2 durante las lecturas; base para futuras optimizaciones específicas por tipo.
  • Estrategias de compresión SCF4: evaluación por segmento y por columna completa para reducir el almacenamiento y la E/S.
  • Aislamiento del grupo de subprocesos SQL: agrupamiento dedicado a los trabajadores para la capa SQL (JOIN, GROUP BY, ORDER BY, etc.).
  • Grupo dedicado de subprocesos para ingestión (capa analítica): separa la ingestión de otras tareas SQL para proteger la latencia bajo presión de escritura.
  • TRUNCATE ALL TABLES: comando de gestión para truncar múltiples tablas en una base de datos.
  • Observabilidad: registros SQL: campos más completos (inicio/finalización, duración, parámetros, filas, usuario/host, estado) y tiempos de ejecución de los trabajadores; espacio reducido para los tipos de consultas sin seguimiento.
  • Métricas operativas: se añade usuario/host a MYSQL_ACTIVE_CONNECTIONS y nuevas métricas para el agregador/controlador.
  • Seguridad y experiencia de autenticación: invalidación de caché de contraseñas en gateways al usar ALTER USER; suites de prueba para usuarios/roles y privilegios; SHOW ROLE EDGES.
  • Concurrencia: RAND () reescrito para ser compatible con múltiples hilos.
  • Compatibilidad con clientes: se añade la variable default_storage_engine requerida para la conectividad del cliente SQL.

Correcciones

  • Estabilidad del agregador: un manejo más seguro de los datos de error; evita las desconexiones cuando la sesión del servicio de coordinación no está inicializada; cancela las RPCs de transmisión antes de apagarlas.
  • Rendimiento en zonas horarias: se resolvió la ralentización causada por una capa de tiempo de ejecución personalizada de fecha/hora.
  • Correcciones en SQL:
    • deserialización adecuada para GROUP BY;
    • corrección en expansión de esquema con *;
    • CAST … AS CHAR ahora copia por tamaño en bytes;
    • escape correcto para patrones como \[abc] en LIKE;
    • se elimina el espacio en blanco de los registros SQL.
  • Compilación y robustez: corrección en la compilación para Debian Trixie; protección contra JSON excesivamente profundo en consultas serializadas con excepción clara en lugar de “Unknown statement”.

Notas de compatibilidad e implementación

  • Formato de almacenamiento (SCF4). SCF4 se convierte en el formato principal y elimina las conversiones SCF2 durante la lectura. Se esperan menos archivos físicos por conjunto de datos, copias de seguridad más rápidas y una base mejor para futuras optimizaciones por tipo. Planifica migraciones y políticas de respaldo en consecuencia.
  • Separación de grupo de subprocesos: nuevos agrupamientos para SQL e ingestión aíslan cargas de trabajo; valida reservas/límites de CPU y actualiza SLOs/alertas para reflejar los nuevos agrupamientos.
  • Transporte seguro: aplica TLS para todos los oyentes y clientes de gRPC usando paquetes PEM en un solo archivo (confianza del servidor y del cliente). Verifica SANs y políticas de cifrado antes de habilitar a nivel de clúster .

Lecturas adicionales y benchmarks

Formato de almacenamiento SCF4

Entregamos una capa de almacenamiento completamente nueva con archivos columnares rediseñados, codificaciones vectoriales personalizadas y diccionarios optimizados. Esto redujo el uso del disco en un 20%, la RAM en un 31% y la carga de la CPU en aproximadamente un 30%, a la vez que redujo significativamente las latencias de las consultas (hasta un 80% más rápido p50 con cargas de trabajo mixtas).

Codificación de columnas más inteligente

Las columnas ahora utilizan tipos de fragmentos especializados para valores repetidos, ordenados y booleanos (dictionary, dChunks, vChunks). Estas optimizaciones permiten un almacenamiento más compacto y un acceso más rápido, lo que allana el camino para nuevas mejoras a nivel de archivos.

Arquitectura de hilos para ingestión

Un nuevo modelo de ejecución basado en agrupamiento de hilos para los servicios de ingestión, combinado con SCF4, mejoró la eficiencia de la CPU. Las reservas de CPU en los servicios de ingestión se redujeron en ~45%, aumentando la  eficiencia de uso del 57 al 66% y reduciendo directamente los costos operativos de los clústeres.

Boletín sobre productos
Mantente al día de las últimas actualizaciones de los productos de Synerise, las nuevas funciones y la información práctica, directamente en tu bandeja de entrada. ¡Solo tienes que suscribirte a nuestro boletín semanal!
Thank you! Your submission has been received!
Oops! Something went wrong while submitting the form.

Ventajas principales

Explora las ventajas principales de esta función y descubre el valor que aporta a tu trabajo diario con Synerise.
No items found.

Use Cases

Explore real-life use cases that demonstrate how to apply this feature in practice through inspiring, ready-to-use scenarios that solve real challenges.
No items found.

Comparte tu opinión con nosotros

¿Quieres compartir tus opiniones o tienes alguna pregunta sobre este artículo?
Déjanos un mensaje, ¡nos encantaría conocer tus sugerencias!
Synerise es el responsable del tratamiento de tus datos personales con el fin de satisfacer tu solicitud especificada en este formulario. Puedes retirar tu consentimiento en cualquier momento poniéndote en contacto con nosotros. Para obtener más información sobre cómo tratamos tus datos personales y cuáles son tus derechos, consulta nuestra política de privacidad.
Thank you! Your submission has been received!
Oops! Something went wrong while submitting the form.