{"id":11816,"date":"2021-09-01T00:00:17","date_gmt":"2021-09-01T07:00:17","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/?p=11816"},"modified":"2025-06-13T21:33:25","modified_gmt":"2025-06-14T04:33:25","slug":"fluent-bit-tips-tricks-log-forwarding-couchbase","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/es\/fluent-bit-tips-tricks-log-forwarding-couchbase\/","title":{"rendered":"11 Ejemplos de Fluent Bit, Consejos y Trucos para Log Forwarding con Couchbase"},"content":{"rendered":"

Reenv\u00edo y procesamiento de registros con Couchbase<\/strong> es m\u00e1s f\u00e1cil que nunca.<\/p>\n

Disponemos de soporte para reenv\u00edo de registros y gesti\u00f3n de registros de auditor\u00eda para Couchbase Autonomous Operator (es decir, Kubernetes)<\/a> y para despliegues on-prem de Couchbase Server<\/a>. En ambos casos, el procesamiento de los registros se realiza mediante Bits fluidos<\/a>.<\/p>\n

\u00bfPor qu\u00e9 elegimos Fluent Bit? Los usuarios de Couchbase necesitan registros en un formato com\u00fan con configuraci\u00f3n din\u00e1mica, y quer\u00edamos utilizar un est\u00e1ndar de la industria con una sobrecarga m\u00ednima. Fluent Bit fue una elecci\u00f3n natural.<\/p>\n

Este art\u00edculo cubre consejos y trucos para aprovechar al m\u00e1ximo el uso de Fluent Bit para el reenv\u00edo de logs con Couchbase. Utilizar\u00e9 el Operador aut\u00f3nomo de Couchbase<\/a> en mis ejemplos de despliegue. (Tambi\u00e9n voy a presentar una inmersi\u00f3n m\u00e1s profunda de este post en la pr\u00f3xima FluentCon<\/a>.)<\/p>\n

Antes de Fluent Bit, los formatos de registro de Couchbase variaban en m\u00faltiples archivos. A continuaci\u00f3n se muestra una sola l\u00ednea de cuatro archivos de registro diferentes:<\/p>\n

2021-03-09T17:32:25.520+00:00 DEBU CBAS.util.MXHelper [main] ignoring exception calling RuntimeMXBean.getBootClassPath; returning null\r\njava.lang.UnsupportedOperationException: Boot class path mechanism is not supported\r\n\tat sun.management.RuntimeImpl.getBootClassPath(Unknown Source) ~[?:?]\r\n\tat org.apache.hyracks.util.MXHelper.getBootClassPath(MXHelper.java:111) [hyracks-util.jar:6.6.0-7909]\r\n<\/pre>\n
{\"bucket\":\"default\",\"description\":\"The specified bucket was selected\",\"id\":20492,\"name\":\"select bucket\",\"peername\":\"127.0.0.1:56021\",\"real_userid\":{\"domain\":\"local\",\"user\":\"@ns_server\"},\"sockname\":\"127.0.0.1:11209\",\"timestamp\":\"2021-03-09T20:12:17.445039Z\"}\r\n[ns_server:warn,2021-03-09T17:31:55.401Z,babysitter_of_ns_1@cb.local:ns_crash_log<0.102.0>:ns_crash_log:read_crash_log:148]Couldn't load crash_log from \/opt\/couchbase\/var\/lib\/couchbase\/logs\/crash_log_v2.bin (perhaps it's first startup): {error,\r\n                                                                                                                   enoent}\r\n<\/pre>\n
[error_logger:info,2021-03-09T17:31:55.401Z,babysitter_of_ns_1@cb.local:error_logger<0.32.0>:ale_error_logger_handler:do_log:203]\r\n=========================PROGRESS REPORT=========================\r\n          supervisor: {local,ns_babysitter_sup}\r\n<\/pre>\n
127.0.0.1 - @ [09\/Mar\/2021:17:32:02 +0000] \"RPCCONNECT \/goxdcr-cbauth HTTP\/1.1\" 200 0 - Go-http-client\/1.1\r\n<\/pre>\n
<\/div>\n
Con la actualizaci\u00f3n a Fluent Bit, ahora puede transmitir en directo las siguientes vistas de registros la arquitectura de registro est\u00e1ndar de Kubernetes<\/a> que tambi\u00e9n significa integraci\u00f3n sencilla con los cuadros de mando de Grafana<\/a> y otras herramientas est\u00e1ndar del sector. A continuaci\u00f3n se muestra una captura de pantalla tomada de la pila Loki de ejemplo que tenemos en el repositorio Fluent Bit<\/a>.<\/p>\n
<\/div>\n
\"The<\/a><\/p>\n
<\/div>\n
Tanto si eres nuevo en Fluent Bit como si eres un profesional experimentado, espero que este art\u00edculo te ayude a navegar por las complejidades de su uso para el procesamiento de logs con Couchbase.<\/p>\n
\u00bfCu\u00e1l es su principal duda o reto con Fluent Bit?<\/h2>\n
Vaya directamente a su problema o pregunta particular con Fluent Bit utilizando los enlaces de abajo o despl\u00e1cese m\u00e1s abajo para leer todos los consejos y trucos.<\/p>\n
\u00bfQu\u00e9 es (y por qu\u00e9) Fluent Bit?<\/a><\/strong><\/p>\n
\u00bfC\u00f3mo puedo hacer preguntas, obtener orientaci\u00f3n o aportar sugerencias sobre Fluent Bit?<\/strong> Participar y contribuir a la comunidad OSS<\/a>.<\/p>\n
\u00bfC\u00f3mo puedo averiguar qu\u00e9 est\u00e1 fallando en Fluent Bit?<\/strong> Utiliza el stdout<\/code> y aumente el nivel de registro al depurar<\/a>.<\/p>\n
\u00bfC\u00f3mo puedo saber si mi analizador sint\u00e1ctico est\u00e1 fallando?<\/strong> Si ve la opci\u00f3n por defecto registro<\/code> en el registro, sabr\u00e1 que el an\u00e1lisis ha fallado.<\/a>.<\/p>\n
\u00bfPor qu\u00e9 no funciona mi analizador regex?<\/strong> Verificar y simplificar, en particular para el an\u00e1lisis sint\u00e1ctico multil\u00ednea.<\/a>.<\/p>\n
\u00bfC\u00f3mo puedo restringir un campo (por ejemplo, el nivel de registro) a valores conocidos?<\/strong> Limite y normalice los valores de salida con algunos filtros sencillos<\/a>.<\/p>\n
\u00bfC\u00f3mo a\u00f1ado informaci\u00f3n opcional que podr\u00eda no estar presente?<\/strong> Utiliza el modificador_registro<\/code> filtro - no el modificar<\/code> filtro - si desea incluir informaci\u00f3n opcional<\/a>.<\/p>\n
\u00bfC\u00f3mo identifico qu\u00e9 plugin o filtro est\u00e1 activando una m\u00e9trica o un mensaje de registro?<\/strong> Utilizar alias<\/a>.<\/p>\n
\u00bfC\u00f3mo puedo realizar un tratamiento especial o a medida (por ejemplo, una redacci\u00f3n parcial)?<\/strong> Usa el filtro Lua: \u00a1Puede hacerlo todo!<\/a>.<\/p>\n
\u00bfC\u00f3mo compruebo mis cambios o verifico si una nueva versi\u00f3n sigue funcionando?<\/strong> Realizaci\u00f3n de pruebas de regresi\u00f3n automatizadas<\/a>.<\/p>\n
\u00bfC\u00f3mo pruebo cada parte de mi configuraci\u00f3n?<\/strong> Separe su configuraci\u00f3n en trozos m\u00e1s peque\u00f1os (ventaja adicional: esto permite una reutilizaci\u00f3n personalizada m\u00e1s sencilla).<\/a>.<\/p>\n
\u00bfC\u00f3mo utilizo Fluent Bit con Red Hat OpenShift?<\/a><\/strong><\/p>\n
Respondo a estas y otras muchas preguntas en el siguiente art\u00edculo. Entremos en materia.<\/p>\n
\u00bfQu\u00e9 es (y por qu\u00e9) Fluent Bit?<\/h2>\n
\u00bfQu\u00e9 es Fluent Bit? Fluent Bit es la hermana m\u00e1s delicada de Fluentd<\/a>que son Fundaci\u00f3n para la Computaci\u00f3n Nativa en la Nube (CNCF)<\/a> proyectos de la organizaci\u00f3n Fluent.<\/p>\n
Fluent Bit consume esencialmente varios tipos de entrada<\/a>, aplica un tuber\u00eda<\/a> de procesamiento<\/a> a esa entrada y, a continuaci\u00f3n, admite enrutamiento<\/a> esos datos a m\u00faltiples tipos de puntos finales<\/a>.<\/p>\n
<\/div>\n
\"Architecture<\/a><\/p>\n
<\/div>\n
En lo que respecta a Fluentd frente a Fluent Bit, este \u00faltimo es una mejor opci\u00f3n que Fluentd para tareas m\u00e1s sencillas, especialmente cuando s\u00f3lo necesita reenv\u00edo de registros con un procesamiento m\u00ednimo<\/a> y nada m\u00e1s complejo.<\/p>\n
<\/div>\n
\"An<\/a><\/p>\n
<\/div>\n
Hab\u00edamos evaluado otras opciones antes de Fluent Bit, como Logstash, Promtail y rsyslog, pero finalmente nos decidimos por Fluent Bit por varias razones. En primer lugar, es una soluci\u00f3n OSS respaldada por el CNCF y ya se utiliza ampliamente en proveedores locales y en la nube. En segundo lugar, es ligera y tambi\u00e9n se ejecuta en OpenShift. En tercer lugar, y lo m\u00e1s importante, cuenta con amplias opciones de configuraci\u00f3n para que puedas apuntar a cualquier punto final que necesites<\/a>.<\/p>\n
(V\u00e9ase mi anterior art\u00edculo sobre Fluent Bit<\/a> o la documentaci\u00f3n detallada sobre el env\u00edo de registros<\/a> para m\u00e1s informaci\u00f3n).<\/p>\n
Consejo #1: Conectar con la comunidad OSS<\/h2>\n
Mi primera recomendaci\u00f3n para utilizar Fluent Bit es contribuir y comprometerse con su comunidad de c\u00f3digo abierto.<\/p>\n
Casi todo lo que aparece en este art\u00edculo es reutilizado descaradamente de otros, ya sea de el Slack fluido<\/a>, entradas de blog, Repositorios de GitHub<\/a> o similares. Al mismo tiempo, he contribuido con varios analizadores sint\u00e1cticos que construimos para Couchbase volver al repositorio oficial<\/a>y espero haber planteado algunas cuestiones \u00fatiles.<\/p>\n
La comunidad OSS de Fluent Bit es muy activa. Sus responsables se comunican regularmente, corrigen problemas y sugieren soluciones. Por ejemplo, FluentCon EU 2021<\/a> gener\u00f3 muchas sugerencias y comentarios \u00fatiles sobre nuestro uso de Fluent Bit que hemos integrado en versiones posteriores. (FluentCon<\/a> suele coincidir con los eventos de la KubeCon).<\/p>\n
Consejo #2: Depurar cuando todo est\u00e1 roto<\/h2>\n
En los canales de Slack de la comunidad de Fluent Bit, las preguntas m\u00e1s comunes son sobre c\u00f3mo depurar las cosas cuando no funcionan. Mis dos recomendaciones aqu\u00ed son:<\/p>\n
    \n
  1. Utiliza el stdout<\/code> plugin.<\/strong><\/li>\n
  2. Aumente el nivel de registro para Fluent Bit.<\/strong><\/li>\n<\/ol>\n
    <\/div>\n
    Mi primera sugerencia ser\u00eda simplificar. La mayor\u00eda de los usuarios de Fluent Bit est\u00e1n tratando de plomada registros en una pila m\u00e1s grande, por ejemplo, Elastic-Fluentd-Kibana (EFK) o... Prometheus-Loki-Grafana<\/a> (PLG). Para empezar, no mires lo que te dicen Kibana o Grafana hasta que hayas eliminado todos los posibles problemas de fontaner\u00eda en tu pila de elecci\u00f3n.<\/p>\n
    Utiliza el stdout<\/code> plugin<\/a> para determinar qu\u00e9 cree Fluent Bit que es la salida. Luego, itere hasta que obtenga la salida m\u00faltiple de Fluent Bit que esperaba. Es mucho m\u00e1s f\u00e1cil empezar aqu\u00ed que lidiar con todas las partes m\u00f3viles de una pila EFK o PLG.<\/p>\n
    Mi segundo consejo para depurar es subir el nivel de registro<\/a>. Este paso hace obvio lo que Fluent Bit est\u00e1 intentando encontrar y\/o analizar. En muchos casos, al aumentar el nivel de registro se ponen de manifiesto soluciones sencillas, como problemas de permisos o una ruta o comod\u00edn incorrectos.<\/p>\n
    Consideraciones para las comprobaciones de salud de Helm<\/h3>\n
    Si utiliza Helm, active el servidor HTTP para las comprobaciones de estado si ha habilitado esas sondas.<\/p>\n
    Helm es buena para una instalaci\u00f3n sencilla, pero como es una herramienta gen\u00e9rica, debe asegurarse de que su configuraci\u00f3n de Helm sea aceptable. Si habilita las sondas de comprobaci\u00f3n de estado en Kubernetes, tambi\u00e9n deber\u00e1 habilitar el punto final para ellas en la configuraci\u00f3n de Fluent Bit.<\/p>\n
    Las versiones m\u00e1s recientes de Fluent Bit tienen un chequeo espec\u00edfico<\/a> (que tambi\u00e9n utilizaremos en la pr\u00f3xima versi\u00f3n del Operador Aut\u00f3nomo Couchbase).<\/p>\n
    Consejo #3: Convertir el agua en vino con el an\u00e1lisis sint\u00e1ctico<\/h2>\n
    Normalmente, querr\u00e1s analizar tus registros despu\u00e9s de leerlos. Yo utilizo el plugin de entrada de cola<\/a> para convertir datos no estructurados en datos estructurados (por la terminolog\u00eda oficial<\/a>).<\/p>\n
    El fracaso no es una opci\u00f3n<\/h3>\n
    Cuando se trata de solucionar problemas de Fluent Bit, un punto clave que hay que recordar es que si falla el an\u00e1lisis sint\u00e1ctico, obtendr\u00e1 la siguiente salida<\/strong>. El analizador sint\u00e1ctico de Fluent Bit proporciona toda la l\u00ednea de registro como un \u00fanico registro. Esto es una buena caracter\u00edstica de Fluent Bit, ya que nunca se pierde informaci\u00f3n y una herramienta diferente siempre puede volver a analizarla.<\/p>\n
    One helpful trick here is to ensure you never have the default `log` key in the record after parsing. If you see the `log` key, then you know that parsing has failed. It’s not always obvious otherwise.<\/p>\n
    Consejo #4: You Can't Handle the Truth (Multi-Line Parsing)<\/h3>\n
    An\u00e1lisis sint\u00e1ctico multil\u00ednea<\/a> es una caracter\u00edstica clave de Fluent Bit. Algunos registros son producidos por procesos Erlang o Java que lo utilizan ampliamente.<\/p>\n
    En objetivo con an\u00e1lisis sint\u00e1ctico multil\u00ednea<\/a> is to do an initial pass to extract a common set of information. For Couchbase logs, we settled on every log entry having a `timestamp`, `level` and `message` (with `message` being fairly open, since it contained anything not captured in the first two).<\/p>\n
    El nombre del archivo de registro tambi\u00e9n se utiliza como parte de la etiqueta Fluent Bit<\/a>. Hemos implementado esta pr\u00e1ctica porque es posible que desee enrutar diferentes registros a destinos separados<\/a>por ejemplo el registro de auditor\u00eda<\/a> tiende a ser un requisito de seguridad<\/a>:<\/p>\n
        @include \/fluent-bit\/etc\/fluent-bit.conf\r\n    [OUTPUT] \r\n        Name                         s3\r\n        Match                        couchbase.log.audit\r\n        ...\r\n<\/pre>\n
    <\/div>\n
    Como se ha indicado anteriormente (y con m\u00e1s detalle aqu\u00ed<\/a>), este c\u00f3digo sigue enviando todos los registros a la salida est\u00e1ndar de forma predeterminada, pero tambi\u00e9n env\u00eda los registros de auditor\u00eda a AWS S3.<\/p>\n
    Veamos otro ejemplo de an\u00e1lisis sint\u00e1ctico multil\u00ednea con este tutorial (y en GitHub aqu\u00ed<\/a>):<\/p>\n
    [INPUT]\r\n    Name tail\r\n    Alias erlang_tail\r\n    # ^See note 1 below\r\n    Path ${COUCHBASE_LOGS}\/babysitter.log,${COUCHBASE_LOGS}\/couchdb.log,${COUCHBASE_LOGS}\/debug.log,${COUCHBASE_LOGS}\/json_rpc.log,${COUCHBASE_LOGS}\/metakv.log,${COUCHBASE_LOGS}\/ns_couchdb.log,${COUCHBASE_LOGS}\/reports.log\r\n    Multiline On\r\n    Parser_Firstline couchbase_erlang_multiline\r\n    Refresh_Interval 10\r\n    # ^See note 2\r\n    Skip_Long_Lines On\r\n    # ^See note 3\r\n    Skip_Empty_Lines On\r\n    # ^See note 4\r\n    Path_Key filename\r\n    # ^See note 5\r\n    # We want to tag with the name of the log so we can easily send named logs to different output destinations.\r\n    # This requires a bit of regex to extract the info we want.\r\n    Tag couchbase.log.\r\n    Tag_Regex ${COUCHBASE_LOGS}\/(?[^.]+).log$\r\n    # ^See note 6\r\n<\/pre>\n
    <\/div>\n
    Notas:<\/strong>
    \n[1] Especifica un alias para este plugin de entrada. Esto es muy \u00fatil si algo tiene un problema o para realizar un seguimiento de las m\u00e9tricas.
    \n[2] La lista de registros se actualiza cada 10 segundos para recoger los nuevos.
    \n[3] Si llega a una l\u00ednea larga, esto la omitir\u00e1 en lugar de detener cualquier otra entrada. Recuerde que Fluent Bit comenz\u00f3 como una soluci\u00f3n embebida, por lo que una gran cantidad de soporte de l\u00edmites est\u00e1ticos est\u00e1 en su lugar por defecto.
    \n[4] Una adici\u00f3n reciente a la versi\u00f3n 1.8 fue la posibilidad de omitir las l\u00edneas vac\u00edas. Esta opci\u00f3n est\u00e1 activada para reducir el ruido y garantizar que las pruebas automatizadas sigan pasando.
    \n[5] Aseg\u00farese de a\u00f1adir la etiqueta Fluent Bit filename en el registro. Esto es \u00fatil para filtrar.
    \n[6] Etiqueta por nombre de fichero. En este caso usamos una regex para extraer el nombre del archivo ya que estamos trabajando con m\u00faltiples archivos.<\/p>\n
    Una recomendaci\u00f3n obvia es asegurarse de que su regex funciona mediante pruebas. Puede utilizar una herramienta en l\u00ednea como:<\/p>\n