{"id":11816,"date":"2021-09-01T00:00:17","date_gmt":"2021-09-01T07:00:17","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/?p=11816"},"modified":"2025-06-13T21:33:25","modified_gmt":"2025-06-14T04:33:25","slug":"fluent-bit-tips-tricks-log-forwarding-couchbase","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/pt\/fluent-bit-tips-tricks-log-forwarding-couchbase\/","title":{"rendered":"11 Exemplos, dicas e truques de Fluent Bit para encaminhamento de logs com o Couchbase"},"content":{"rendered":"

Encaminhamento e processamento de registros com o Couchbase<\/strong> est\u00e1 mais f\u00e1cil do que nunca.<\/p>\n

Temos suporte para encaminhamento de logs e gerenciamento de logs de auditoria para o Operador Aut\u00f4nomo do Couchbase (ou seja, Kubernetes)<\/a> e para Implanta\u00e7\u00f5es do Couchbase Server no local<\/a>. Em ambos os casos, o processamento de registros \u00e9 alimentado por Bit fluente<\/a>.<\/p>\n

Por que escolhemos o Fluent Bit? Os usu\u00e1rios do Couchbase precisam de logs em um formato comum com configura\u00e7\u00e3o din\u00e2mica, e quer\u00edamos usar um padr\u00e3o do setor com o m\u00ednimo de sobrecarga. O Fluent Bit foi uma escolha natural.<\/p>\n

Este artigo aborda dicas e truques para aproveitar ao m\u00e1ximo o uso do Fluent Bit para encaminhamento de logs com o Couchbase. Usarei o Operador aut\u00f4nomo do Couchbase<\/a> em meus exemplos de implanta\u00e7\u00e3o. (Tamb\u00e9m apresentarei uma an\u00e1lise mais aprofundada desta postagem em a pr\u00f3xima FluentCon<\/a>.)<\/p>\n

Antes do Fluent Bit, os formatos de registro do Couchbase variavam em v\u00e1rios arquivos. Abaixo est\u00e1 uma \u00fanica linha de quatro arquivos de registro diferentes:<\/p>\n

2021-03-09T17:32:25.520+00:00 DEBU CBAS.util.MXHelper [main] ignoring exception calling RuntimeMXBean.getBootClassPath; returning null\r\njava.lang.UnsupportedOperationException: Boot class path mechanism is not supported\r\n\tat sun.management.RuntimeImpl.getBootClassPath(Unknown Source) ~[?:?]\r\n\tat org.apache.hyracks.util.MXHelper.getBootClassPath(MXHelper.java:111) [hyracks-util.jar:6.6.0-7909]\r\n<\/pre>\n
{\"bucket\":\"default\",\"description\":\"The specified bucket was selected\",\"id\":20492,\"name\":\"select bucket\",\"peername\":\"127.0.0.1:56021\",\"real_userid\":{\"domain\":\"local\",\"user\":\"@ns_server\"},\"sockname\":\"127.0.0.1:11209\",\"timestamp\":\"2021-03-09T20:12:17.445039Z\"}\r\n[ns_server:warn,2021-03-09T17:31:55.401Z,babysitter_of_ns_1@cb.local:ns_crash_log<0.102.0>:ns_crash_log:read_crash_log:148]Couldn't load crash_log from \/opt\/couchbase\/var\/lib\/couchbase\/logs\/crash_log_v2.bin (perhaps it's first startup): {error,\r\n                                                                                                                   enoent}\r\n<\/pre>\n
[error_logger:info,2021-03-09T17:31:55.401Z,babysitter_of_ns_1@cb.local:error_logger<0.32.0>:ale_error_logger_handler:do_log:203]\r\n=========================PROGRESS REPORT=========================\r\n          supervisor: {local,ns_babysitter_sup}\r\n<\/pre>\n
127.0.0.1 - @ [09\/Mar\/2021:17:32:02 +0000] \"RPCCONNECT \/goxdcr-cbauth HTTP\/1.1\" 200 0 - Go-http-client\/1.1\r\n<\/pre>\n
<\/div>\n
Com a atualiza\u00e7\u00e3o para o Fluent Bit, agora voc\u00ea pode transmitir visualiza\u00e7\u00f5es de logs ao vivo da seguinte forma a arquitetura de registro padr\u00e3o do Kubernetes<\/a> o que tamb\u00e9m significa integra\u00e7\u00e3o simples com pain\u00e9is do Grafana<\/a> e outras ferramentas padr\u00e3o do setor. Abaixo est\u00e1 uma captura de tela tirada de o exemplo de pilha Loki que temos no reposit\u00f3rio Fluent Bit<\/a>.<\/p>\n
<\/div>\n
\"The<\/a><\/p>\n
<\/div>\n
Quer voc\u00ea seja novo no Fluent Bit ou um profissional experiente, espero que este artigo o ajude a navegar pelas complexidades de us\u00e1-lo para o processamento de logs com o Couchbase.<\/p>\n
Qual \u00e9 a sua principal d\u00favida ou desafio com o Fluent Bit?<\/h2>\n
Pule diretamente para o seu desafio ou pergunta espec\u00edfica com o Fluent Bit usando os links abaixo ou role mais para baixo para ler todas as dicas e truques.<\/p>\n
O que \u00e9 (e por que) Fluent Bit?<\/a><\/strong><\/p>\n
Como fa\u00e7o para fazer perguntas, obter orienta\u00e7\u00e3o ou dar sugest\u00f5es sobre o Fluent Bit?<\/strong> Envolver-se com a comunidade OSS e contribuir com ela<\/a>.<\/p>\n
Como fa\u00e7o para descobrir o que est\u00e1 acontecendo de errado com o Fluent Bit?<\/strong> Use o sa\u00edda<\/code> plug-in e aumente o n\u00edvel de registro ao depurar<\/a>.<\/p>\n
Como posso saber se meu analisador est\u00e1 falhando?<\/strong> Se voc\u00ea vir o padr\u00e3o registro<\/code> no registro, ent\u00e3o voc\u00ea sabe que a an\u00e1lise falhou<\/a>.<\/p>\n
Por que meu analisador de regex n\u00e3o est\u00e1 funcionando?<\/strong> Verificar e simplificar, especialmente para an\u00e1lise de v\u00e1rias linhas<\/a>.<\/p>\n
Como fa\u00e7o para restringir um campo (por exemplo, n\u00edvel de registro) a valores conhecidos?<\/strong> Restrinja e padronize os valores de sa\u00edda com alguns filtros simples<\/a>.<\/p>\n
Como fa\u00e7o para adicionar informa\u00e7\u00f5es opcionais que podem n\u00e3o estar presentes?<\/strong> Use o modificador de registro<\/code> n\u00e3o o filtro modificar<\/code> filtro - se voc\u00ea quiser incluir informa\u00e7\u00f5es opcionais<\/a>.<\/p>\n
Como posso identificar qual plug-in ou filtro est\u00e1 acionando uma m\u00e9trica ou mensagem de registro?<\/strong> Usar aliases<\/a>.<\/p>\n
Como fa\u00e7o para concluir o processamento especial ou sob medida (por exemplo, reda\u00e7\u00e3o parcial)?<\/strong> Use o filtro Lua: Ele pode fazer tudo!<\/a>.<\/p>\n
Como fa\u00e7o para verificar minhas altera\u00e7\u00f5es ou testar se uma nova vers\u00e3o ainda funciona?<\/strong> Fornecer testes de regress\u00e3o automatizados<\/a>.<\/p>\n
Como fa\u00e7o para testar cada parte da minha configura\u00e7\u00e3o?<\/strong> Separe sua configura\u00e7\u00e3o em partes menores. (B\u00f4nus: isso permite uma reutiliza\u00e7\u00e3o personalizada mais simples)<\/a>.<\/p>\n
Como posso usar o Fluent Bit com o Red Hat OpenShift?<\/a><\/strong><\/p>\n
Respondo a essas e muitas outras perguntas no artigo abaixo. Vamos nos aprofundar.<\/p>\n
O que \u00e9 (e por que) Fluent Bit?<\/h2>\n
Ent\u00e3o, o que \u00e9 o Fluent Bit? O Fluent Bit \u00e9 a irm\u00e3 mais delicada do Fluentd<\/a>, que s\u00e3o ambos Funda\u00e7\u00e3o de computa\u00e7\u00e3o nativa da nuvem (CNCF)<\/a> projetos sob a organiza\u00e7\u00e3o da Fluent.<\/p>\n
O Fluent Bit consome essencialmente v\u00e1rios tipos de entrada<\/a>, aplica um tubula\u00e7\u00e3o<\/a> de processamento<\/a> para essa entrada e, em seguida, suporta roteamento<\/a> esses dados para v\u00e1rios tipos de pontos finais<\/a>.<\/p>\n
<\/div>\n
\"Architecture<\/a><\/p>\n
<\/div>\n
Quando se trata de Fluentd vs. Fluent Bit, o \u00faltimo \u00e9 uma escolha melhor do que o Fluentd para tarefas mais simples, especialmente quando voc\u00ea s\u00f3 precisa de encaminhamento de logs com processamento m\u00ednimo<\/a> e nada mais complexo.<\/p>\n
<\/div>\n
\"An<\/a><\/p>\n
<\/div>\n
Avaliamos v\u00e1rias outras op\u00e7\u00f5es antes do Fluent Bit, como Logstash, Promtail e rsyslog, mas acabamos optando pelo Fluent Bit por alguns motivos. Primeiro, ele \u00e9 uma solu\u00e7\u00e3o OSS com suporte do CNCF e j\u00e1 \u00e9 amplamente utilizado em provedores locais e de nuvem. Segundo, ele \u00e9 leve e tamb\u00e9m \u00e9 executado no OpenShift. Terceiro, e o mais importante, ele tem amplas op\u00e7\u00f5es de configura\u00e7\u00e3o para que voc\u00ea possa direcionar qualquer endpoint que voc\u00ea precise<\/a>.<\/p>\n
(Veja meu artigo anterior sobre o Fluent Bit<\/a> ou a documenta\u00e7\u00e3o detalhada de encaminhamento de registros<\/a> para obter mais informa\u00e7\u00f5es).<\/p>\n
Dica #1: Conecte-se com a comunidade OSS<\/h2>\n
Minha primeira recomenda\u00e7\u00e3o para usar o Fluent Bit \u00e9 contribuir e se envolver com sua comunidade de c\u00f3digo aberto.<\/p>\n
Quase tudo neste artigo \u00e9 descaradamente reutilizado de outros, seja de o Slack Fluente<\/a>, postagens de blog, Reposit\u00f3rios do GitHub<\/a> ou coisas do g\u00eanero. Ao mesmo tempo, contribu\u00ed com v\u00e1rios analisadores que criamos para o Couchbase de volta ao reposit\u00f3rio oficial<\/a>Espero que eu tenha levantado algumas quest\u00f5es \u00fateis!<\/p>\n
A comunidade OSS do Fluent Bit \u00e9 ativa. Seus mantenedores se comunicam regularmente, corrigem problemas e sugerem solu\u00e7\u00f5es. Por exemplo, FluentCon EU 2021<\/a> gerou muitas sugest\u00f5es e coment\u00e1rios \u00fateis sobre o uso do Fluent Bit que, desde ent\u00e3o, integramos em vers\u00f5es subsequentes. (FluentCon<\/a> \u00e9 tipicamente co-localizado em eventos da KubeCon).<\/p>\n
Dica #2: Depura\u00e7\u00e3o quando tudo est\u00e1 quebrado<\/h2>\n
Nos canais do Slack da comunidade Fluent Bit, as perguntas mais comuns s\u00e3o sobre como depurar as coisas quando elas n\u00e3o est\u00e3o funcionando. Minhas duas recomenda\u00e7\u00f5es aqui s\u00e3o:<\/p>\n
    \n
  1. Use o sa\u00edda<\/code> plugin.<\/strong><\/li>\n
  2. Aumente o n\u00edvel de registro do Fluent Bit.<\/strong><\/li>\n<\/ol>\n
    <\/div>\n
    Minha primeira sugest\u00e3o seria simplificar. A maioria dos usu\u00e1rios do Fluent Bit est\u00e1 tentando canalizar os logs para uma pilha maior, por exemplo, Elastic-Fluentd-Kibana (EFK) ou Prometheus-Loki-Grafana<\/a> (PLG). Para come\u00e7ar, n\u00e3o olhe para o que o Kibana ou o Grafana est\u00e3o lhe dizendo at\u00e9 que voc\u00ea tenha removido todos os poss\u00edveis problemas com o encanamento na pilha de sua escolha.<\/p>\n
    Use o sa\u00edda<\/code> plug-in<\/a> para determinar o que o Fluent Bit acha que \u00e9 a sa\u00edda. Em seguida, itere at\u00e9 obter a sa\u00edda m\u00faltipla do Fluent Bit que voc\u00ea estava esperando. \u00c9 muito mais f\u00e1cil come\u00e7ar aqui do que lidar com todas as partes m\u00f3veis de uma pilha EFK ou PLG.<\/p>\n
    Minha segunda dica de depura\u00e7\u00e3o \u00e9 aumentar o n\u00edvel de registro<\/a>. Essa etapa torna \u00f3bvio o que o Fluent Bit est\u00e1 tentando encontrar e\/ou analisar. Em muitos casos, o aumento do n\u00edvel de registro destaca corre\u00e7\u00f5es simples, como problemas de permiss\u00f5es ou o uso do curinga\/caminho errado.<\/p>\n
    Considera\u00e7\u00f5es sobre as verifica\u00e7\u00f5es de integridade do Helm<\/h3>\n
    Se estiver usando o Helm, ative o servidor HTTP para verifica\u00e7\u00f5es de integridade se tiver ativado essas sondas.<\/p>\n
    O Helm \u00e9 bom para uma instala\u00e7\u00e3o simples, mas como \u00e9 uma ferramenta gen\u00e9rica, voc\u00ea precisa garantir que a configura\u00e7\u00e3o do Helm seja aceit\u00e1vel. Se voc\u00ea habilitar as sondas de verifica\u00e7\u00e3o de integridade no Kubernetes, tamb\u00e9m precisar\u00e1 habilitar o endpoint para elas na configura\u00e7\u00e3o do Fluent Bit.<\/p>\n
    As vers\u00f5es mais recentes do Fluent Bit t\u00eam uma verifica\u00e7\u00e3o de sa\u00fade dedicada<\/a> (que tamb\u00e9m usaremos na pr\u00f3xima vers\u00e3o do Operador Aut\u00f4nomo do Couchbase).<\/p>\n
    Dica #3: Transformando \u00e1gua em vinho com an\u00e1lise<\/h2>\n
    Normalmente, voc\u00ea deseja analisar seus registros depois de l\u00ea-los. Eu uso o plug-in de entrada de cauda<\/a> para converter dados n\u00e3o estruturados em dados estruturados (por a terminologia oficial<\/a>).<\/p>\n
    O fracasso n\u00e3o \u00e9 uma op\u00e7\u00e3o<\/h3>\n
    Quando se trata da solu\u00e7\u00e3o de problemas do Fluent Bit, um ponto importante a ser lembrado \u00e9 que Se a an\u00e1lise falhar, voc\u00ea ainda obter\u00e1 a sa\u00edda<\/strong>. O analisador do Fluent Bit apenas fornece toda a linha de registro como um \u00fanico registro. Esse recurso de retorno \u00e9 um bom recurso do Fluent Bit, pois voc\u00ea nunca perde informa\u00e7\u00f5es e uma ferramenta de downstream diferente sempre pode analis\u00e1-las novamente.<\/p>\n
    One helpful trick here is to ensure you never have the default `log` key in the record after parsing. If you see the `log` key, then you know that parsing has failed. It’s not always obvious otherwise.<\/p>\n
    Dica #4: Voc\u00ea n\u00e3o consegue lidar com a verdade (an\u00e1lise de v\u00e1rias linhas)<\/h3>\n
    An\u00e1lise de v\u00e1rias linhas<\/a> \u00e9 um recurso fundamental do Fluent Bit. Alguns registros s\u00e3o produzidos por processos Erlang ou Java que o utilizam extensivamente.<\/p>\n
    O objetivo com an\u00e1lise de v\u00e1rias linhas<\/a> is to do an initial pass to extract a common set of information. For Couchbase logs, we settled on every log entry having a `timestamp`, `level` and `message` (with `message` being fairly open, since it contained anything not captured in the first two).<\/p>\n
    O nome do arquivo de registro tamb\u00e9m \u00e9 usado como parte do a tag Fluent Bit<\/a>. Implementamos essa pr\u00e1tica porque voc\u00ea pode querer rotear diferentes registros para destinos separados<\/a>Por exemplo o registro de auditoria<\/a> tende a ser um requisito de seguran\u00e7a<\/a>:<\/p>\n
        @include \/fluent-bit\/etc\/fluent-bit.conf\r\n    [OUTPUT] \r\n        Name                         s3\r\n        Match                        couchbase.log.audit\r\n        ...\r\n<\/pre>\n
    <\/div>\n
    Conforme mostrado acima (e em mais detalhes aqui<\/a>), esse c\u00f3digo ainda envia todos os logs para a sa\u00edda padr\u00e3o por padr\u00e3o, mas tamb\u00e9m envia os logs de auditoria para o AWS S3.<\/p>\n
    Vamos dar uma olhada em outro exemplo de an\u00e1lise de v\u00e1rias linhas com este passo a passo abaixo (e no GitHub aqui<\/a>):<\/p>\n
    [INPUT]\r\n    Name tail\r\n    Alias erlang_tail\r\n    # ^See note 1 below\r\n    Path ${COUCHBASE_LOGS}\/babysitter.log,${COUCHBASE_LOGS}\/couchdb.log,${COUCHBASE_LOGS}\/debug.log,${COUCHBASE_LOGS}\/json_rpc.log,${COUCHBASE_LOGS}\/metakv.log,${COUCHBASE_LOGS}\/ns_couchdb.log,${COUCHBASE_LOGS}\/reports.log\r\n    Multiline On\r\n    Parser_Firstline couchbase_erlang_multiline\r\n    Refresh_Interval 10\r\n    # ^See note 2\r\n    Skip_Long_Lines On\r\n    # ^See note 3\r\n    Skip_Empty_Lines On\r\n    # ^See note 4\r\n    Path_Key filename\r\n    # ^See note 5\r\n    # We want to tag with the name of the log so we can easily send named logs to different output destinations.\r\n    # This requires a bit of regex to extract the info we want.\r\n    Tag couchbase.log.\r\n    Tag_Regex ${COUCHBASE_LOGS}\/(?[^.]+).log$\r\n    # ^See note 6\r\n<\/pre>\n
    <\/div>\n
    Observa\u00e7\u00f5es:<\/strong>
    \n[1] Especifique um alias para esse plug-in de entrada. Isso \u00e9 muito \u00fatil se houver um problema ou para rastrear m\u00e9tricas.
    \n[2] A lista de registros \u00e9 atualizada a cada 10 segundos para coletar novos registros.
    \n[3] Se voc\u00ea atingir uma linha longa, isso a ignorar\u00e1 em vez de interromper qualquer outra entrada. Lembre-se de que o Fluent Bit come\u00e7ou como uma solu\u00e7\u00e3o incorporada, portanto, muito do suporte a limites est\u00e1ticos est\u00e1 em vigor por padr\u00e3o.
    \n[4] Uma adi\u00e7\u00e3o recente \u00e0 vers\u00e3o 1.8 foi a possibilidade de pular linhas vazias. Essa op\u00e7\u00e3o est\u00e1 ativada para manter o ru\u00eddo baixo e garantir que os testes automatizados ainda sejam aprovados.
    \n[5] Certifique-se de adicionar a tag Fluent Bit filename no registro. Isso \u00e9 \u00fatil no downstream para filtragem.
    \n[6] Tag por nome de arquivo. Nesse caso, usamos um regex para extrair o nome do arquivo, pois estamos trabalhando com v\u00e1rios arquivos.<\/p>\n
    Uma recomenda\u00e7\u00e3o \u00f3bvia \u00e9 garantir que seu regex funcione por meio de testes. Voc\u00ea pode usar uma ferramenta on-line, como a:<\/p>\n