Pricing

Notas de versão de setembro para o TerrariumDB

Na atualização deste mês, estamos compartilhando as notas de versão do TerrariumDB v8.0. Esta versão apresenta mudanças significativas nas áreas de armazenamento, SQL, segurança e observabilidade, além de uma série de melhorias e correções. Neste artigo, você encontrará um resumo do que há de novo, do que foi aprimorado e do que deve ter em mente para implantação e compatibilidade.

O TerrariumDB v8.0 apresenta um novo Storage Core Format (SCF4) com mecanismos de armazenamento plugáveis e isolamento do caminho de execução. Também traz importantes adições à linguagem SQL, como os comandos DELETE, WITH, múltiplos JOINs e TRUNCATE ALL.

A segurança foi reforçada com gRPC protegido por TLS como padrão, e a observabilidade foi aprimorada com melhorias em métricas e registros. No aspecto operacional, a versão 8.0 reduz o uso de CPU do serviço de ingestão e acelera os backups. Internamente, a execução de consultas está mais rápida e previsível por meio de um trabalho refinado de agrupamento de threads e agendador, além de várias correções que melhoram a correção do SQL, estabilizam os fluxos entre agregador e worker e garantem um comportamento de desligamento mais limpo.

O que há de novo

  • Mecanismos de armazenamento plugáveis: uma API estável do motor de armazenamento que desacopla a consulta/execução da persistência, permitindo que o banco de dados carregue uma única implementação de mecanismo em todo o processo (por exemplo, linha, coluna, LSM, na memória, na nuvem) no início e a troque ou atualize sem alterar o código da aplicação.
  • Unificação paralela de intérpretes: mesclados intérpretes GROUP BY e ORDER BY para melhorar o processamento paralelo.
  • SQL: comando DELETE: remoção de linha nativa na camada SQL.
  • Ponto final de pesquisa de índice de segmento: retorna o índice de segmento correspondente (ou nulo) de um cliente via caminho agregador/worker.
  • SQL: suporte a WITH (CTE): composição de consultas mais rica.
  • SQL: múltiplos JOINs: suporte a múltiplos JOINs em uma única consulta.
  • Ferramentas de rebalanceamento: script de rebalanceamento de shards para facilitar a movimentação controlada de dados no cluster e agregador.
  • gRPC TLS por padrão: cadeias de certificados de arquivo único, TLS 1.2+ (preferencialmente 1.3), validação de SAN.
  • Busca de índice por segmento de clientes: um novo ponto de acesso na camada analítica retorna o índice de segmento correspondente por cliente para acelerar as decisões de roteamento em tempo real.

Melhorias

  • Suporte do motor SCF4: novo formato em disco sem conversão de SCF2 durante leituras; base para futuras otimizações específicas do tipo.
  • Estratégias de compressão SCF4: abordagens avaliadas por segmento e por coluna inteira para reduzir o armazenamento e a E/S.
  • Isolamento do thread pool para SQL: pool dedicado nos workers para a camada SQL (JOIN, GROUP BY, ORDER BY, etc.).
  • Pool de ingestão dedicado (camada analítica): separa a ingestão de outros trabalhos de SQL para proteger a latência sob pressão de escrita.
  • TRUNCATE ALL TABLES: comando de gerenciamento para truncamento de tabelas em massa dentro de um banco de dados.
  • Observabilidade: registros SQL: campos mais ricos (início/fim, duração, parâmetros, linhas, usuário/host, status) e tempos de execução por worker; espaço reduzido para tipos de consulta não rastreados.
  • Métricas operacionais: adição de usuário/host em MYSQL_ACTIVE_CONNECTIONS e novas métricas para o agregador/controlador.
  • Segurança e autenticação UX: invalidação do cache de senha em todos os gateways ao usar ALTER USER; suítes de teste para superfícies de usuário/função e privilégios; SHOW ROLE EDGES.
  • Concorrência: RAND () reescrito para ser compatível com múltiplos threads.
  • Compatibilidade com clientes: adição da variável de sistem default_storage_engine exigida pela conectividade do cliente sql.

Correções

  • Estabilidade do agregador: tratamento mais seguro de dados de erro; prevenção de desconexões quando a sessão do serviço de coordenação não for inicializada; cancelamento de RPCs em streaming antes do desligamento.
  • Desempenho de fuso horário: resolução de lentidão causada por uma camada de tempo de execução de data/hora personalizada.
  • Exatidão do SQL
    • desserialização correta para GROUP BY;
    • correção na expansão de esquema com *; CAST … AS CHAR agora copia por tamanho de byte;
    • escape adequado para padrões como \ [abc] em LIKE;
    • remoção de espaços em branco dos registros SQL;
  • Construção e robustez: correção no build para Debian Trixie; proteção contra JSON excessivamente profundo em consultas serializadas, com uma exceção clara em vez de um “Unknown statement" genérico.

Notas de compatibilidade e versão

  • Formato de armazenamento (SCF4): SCF4 se torna o formato principal e elimina conversões de SCF2 durante leitura. Espere menos arquivos físicos por conjunto de dados, backups mais rápidos e um caminho melhor para futuras otimizações por tipo. Planeje as migrações e as políticas de backup adequadamente.
  • Separação de thread pools: novos pools para SQL e ingestão isolam cargas de trabalho; valide reservas/limites de CPU e atualize SLOs/alertas para refletir os novos pools.
  • Transporte seguro: aplique o TLS para todos os listeners/clientes do gRPC usando pacotes PEM de arquivo único (confiança de servidor e cliente). Verifique as SANs e as políticas de criptografia antes de ativar em todo o cluster.

Leituras adicionais e benchmarks

Formato de armazenamento SCF4

Fornecemos uma camada de armazenamento totalmente nova com arquivos colunares redesenhados, codificações vetoriais personalizadas e dicionários otimizados. Isso reduziu o uso do disco em 20%, a RAM em 31% e reduziu a carga da CPU em ~30%, além de reduzir significativamente as latências de consulta (p50 até 80% mais rápido em cargas de trabalho mistas).

Codificação de coluna mais inteligente

As colunas agora utilizam tipos de blocos especializados para valores repetidos, classificados e booleanos (dicionário, dChunks, vChunks). Essas otimizações permitem um armazenamento mais compacto e um acesso mais rápido, abrindo caminho para melhorias adicionais no nível do arquivo.

Arquitetura de threads para ingestão

Um novo modelo de execução da arquitetura de pool de threads para serviços de ingestão, combinado com o SCF4, melhorou a eficiência da CPU. As reservas de CPU no serviço de ingestão caíram ~45%, aumentando a eficiência de uso de 57% a 66% e reduzindo diretamente os custos operacionais do cluster.

Use Cases

We’ve expanded our use case catalog with new, real-world scenarios! 🚀 Built on insights from our customers and powered by the latest features in our platform, these use cases are designed to help you unlock even more value.

Notas de versão de setembro para o TerrariumDB

Na atualização deste mês, estamos compartilhando as notas de versão do TerrariumDB v8.0. Esta versão apresenta mudanças significativas nas áreas de armazenamento, SQL, segurança e observabilidade, além de uma série de melhorias e correções. Neste artigo, você encontrará um resumo do que há de novo, do que foi aprimorado e do que deve ter em mente para implantação e compatibilidade.

O TerrariumDB v8.0 apresenta um novo Storage Core Format (SCF4) com mecanismos de armazenamento plugáveis e isolamento do caminho de execução. Também traz importantes adições à linguagem SQL, como os comandos DELETE, WITH, múltiplos JOINs e TRUNCATE ALL.

A segurança foi reforçada com gRPC protegido por TLS como padrão, e a observabilidade foi aprimorada com melhorias em métricas e registros. No aspecto operacional, a versão 8.0 reduz o uso de CPU do serviço de ingestão e acelera os backups. Internamente, a execução de consultas está mais rápida e previsível por meio de um trabalho refinado de agrupamento de threads e agendador, além de várias correções que melhoram a correção do SQL, estabilizam os fluxos entre agregador e worker e garantem um comportamento de desligamento mais limpo.

O que há de novo

  • Mecanismos de armazenamento plugáveis: uma API estável do motor de armazenamento que desacopla a consulta/execução da persistência, permitindo que o banco de dados carregue uma única implementação de mecanismo em todo o processo (por exemplo, linha, coluna, LSM, na memória, na nuvem) no início e a troque ou atualize sem alterar o código da aplicação.
  • Unificação paralela de intérpretes: mesclados intérpretes GROUP BY e ORDER BY para melhorar o processamento paralelo.
  • SQL: comando DELETE: remoção de linha nativa na camada SQL.
  • Ponto final de pesquisa de índice de segmento: retorna o índice de segmento correspondente (ou nulo) de um cliente via caminho agregador/worker.
  • SQL: suporte a WITH (CTE): composição de consultas mais rica.
  • SQL: múltiplos JOINs: suporte a múltiplos JOINs em uma única consulta.
  • Ferramentas de rebalanceamento: script de rebalanceamento de shards para facilitar a movimentação controlada de dados no cluster e agregador.
  • gRPC TLS por padrão: cadeias de certificados de arquivo único, TLS 1.2+ (preferencialmente 1.3), validação de SAN.
  • Busca de índice por segmento de clientes: um novo ponto de acesso na camada analítica retorna o índice de segmento correspondente por cliente para acelerar as decisões de roteamento em tempo real.

Melhorias

  • Suporte do motor SCF4: novo formato em disco sem conversão de SCF2 durante leituras; base para futuras otimizações específicas do tipo.
  • Estratégias de compressão SCF4: abordagens avaliadas por segmento e por coluna inteira para reduzir o armazenamento e a E/S.
  • Isolamento do thread pool para SQL: pool dedicado nos workers para a camada SQL (JOIN, GROUP BY, ORDER BY, etc.).
  • Pool de ingestão dedicado (camada analítica): separa a ingestão de outros trabalhos de SQL para proteger a latência sob pressão de escrita.
  • TRUNCATE ALL TABLES: comando de gerenciamento para truncamento de tabelas em massa dentro de um banco de dados.
  • Observabilidade: registros SQL: campos mais ricos (início/fim, duração, parâmetros, linhas, usuário/host, status) e tempos de execução por worker; espaço reduzido para tipos de consulta não rastreados.
  • Métricas operacionais: adição de usuário/host em MYSQL_ACTIVE_CONNECTIONS e novas métricas para o agregador/controlador.
  • Segurança e autenticação UX: invalidação do cache de senha em todos os gateways ao usar ALTER USER; suítes de teste para superfícies de usuário/função e privilégios; SHOW ROLE EDGES.
  • Concorrência: RAND () reescrito para ser compatível com múltiplos threads.
  • Compatibilidade com clientes: adição da variável de sistem default_storage_engine exigida pela conectividade do cliente sql.

Correções

  • Estabilidade do agregador: tratamento mais seguro de dados de erro; prevenção de desconexões quando a sessão do serviço de coordenação não for inicializada; cancelamento de RPCs em streaming antes do desligamento.
  • Desempenho de fuso horário: resolução de lentidão causada por uma camada de tempo de execução de data/hora personalizada.
  • Exatidão do SQL
    • desserialização correta para GROUP BY;
    • correção na expansão de esquema com *; CAST … AS CHAR agora copia por tamanho de byte;
    • escape adequado para padrões como \ [abc] em LIKE;
    • remoção de espaços em branco dos registros SQL;
  • Construção e robustez: correção no build para Debian Trixie; proteção contra JSON excessivamente profundo em consultas serializadas, com uma exceção clara em vez de um “Unknown statement" genérico.

Notas de compatibilidade e versão

  • Formato de armazenamento (SCF4): SCF4 se torna o formato principal e elimina conversões de SCF2 durante leitura. Espere menos arquivos físicos por conjunto de dados, backups mais rápidos e um caminho melhor para futuras otimizações por tipo. Planeje as migrações e as políticas de backup adequadamente.
  • Separação de thread pools: novos pools para SQL e ingestão isolam cargas de trabalho; valide reservas/limites de CPU e atualize SLOs/alertas para refletir os novos pools.
  • Transporte seguro: aplique o TLS para todos os listeners/clientes do gRPC usando pacotes PEM de arquivo único (confiança de servidor e cliente). Verifique as SANs e as políticas de criptografia antes de ativar em todo o cluster.

Leituras adicionais e benchmarks

Formato de armazenamento SCF4

Fornecemos uma camada de armazenamento totalmente nova com arquivos colunares redesenhados, codificações vetoriais personalizadas e dicionários otimizados. Isso reduziu o uso do disco em 20%, a RAM em 31% e reduziu a carga da CPU em ~30%, além de reduzir significativamente as latências de consulta (p50 até 80% mais rápido em cargas de trabalho mistas).

Codificação de coluna mais inteligente

As colunas agora utilizam tipos de blocos especializados para valores repetidos, classificados e booleanos (dicionário, dChunks, vChunks). Essas otimizações permitem um armazenamento mais compacto e um acesso mais rápido, abrindo caminho para melhorias adicionais no nível do arquivo.

Arquitetura de threads para ingestão

Um novo modelo de execução da arquitetura de pool de threads para serviços de ingestão, combinado com o SCF4, melhorou a eficiência da CPU. As reservas de CPU no serviço de ingestão caíram ~45%, aumentando a eficiência de uso de 57% a 66% e reduzindo diretamente os custos operacionais do cluster.

Newsletter sobre productos
Mantenha-se atualizado com as últimas novidades do produto Synerise, novos recursos e insights práticos entregues diretamente na sua caixa de entrada. Basta assinar nossa comunicação semanal!
Thank you! Your submission has been received!
Oops! Something went wrong while submitting the form.

Principais benefícios

Explore as principais vantagens deste recurso e descubra o valor que ele agrega ao seu trabalho diário com o Synerise.
No items found.

Use Cases

Explore real-life use cases that demonstrate how to apply this feature in practice through inspiring, ready-to-use scenarios that solve real challenges.
No items found.

Compartilhe seus comentários conosco!

Quer compartilhar suas ideias ou tem alguma dúvida sobre este artigo?
Deixe uma mensagem — adoraríamos ouvir sua opinião!
A Synerise é a controladora dos seus dados pessoais processados com a finalidade de atender à sua solicitação especificada neste formulário. Você pode retirar seu consentimento a qualquer momento entrando em contato conosco. Para obter mais informações sobre como processamos seus dados pessoais e quais são os seus direitos, consulte nossa política de privacidade.
Thank you! Your submission has been received!
Oops! Something went wrong while submitting the form.