Echemos un vistazo r\u00e1pido a los diferentes componentes que utilizaremos a lo largo de esta entrada de blog.<\/span><\/p>\n Couchbase<\/b><\/a>\u00a0 es una base de datos de documentos JSON distribuida y de c\u00f3digo abierto. Ofrece un almac\u00e9n de claves y valores escalable con cach\u00e9 gestionada para operaciones de datos por debajo del milisegundo, indexadores espec\u00edficos para consultas eficientes y un potente motor de consulta para ejecutar consultas de tipo SQL.<\/span><\/p>\n Elasticsearch<\/b><\/a> es una base de datos NoSQL distribuida de texto completo con un potente motor de b\u00fasqueda y an\u00e1lisis en el coraz\u00f3n de Elastic Stack. Elasticsearch almacena documentos en \u00edndices, que son an\u00e1logos a las tablas del mundo sql.<\/span><\/p>\n Canalizaci\u00f3n de nodos de ingesta<\/b><\/a> es una potente herramienta que Elasticsearch pone a su disposici\u00f3n para preprocesar sus documentos antes de que sean indexados. Una canalizaci\u00f3n de nodo de ingesta consiste en uno o m\u00e1s procesadores que se ejecutan en el orden en que se declaran. Elasticsearch viene con un conjunto de procesadores fuera de la caja, tambi\u00e9n puede construir un procesador personalizado seg\u00fan sea necesario, para obtener una lista de todos los procesadores visite la documentaci\u00f3n <\/span>aqu\u00ed<\/span><\/a>.<\/span><\/p>\n Conector Elasticsearch<\/b><\/a> es una herramienta creada por Couchbase que permite replicar datos de Couchbase a Elasticsearch.<\/span><\/p>\n Kibana<\/b><\/a> es una interfaz de usuario abierta y gratuita que permite visualizar los datos de Elasticsearch y navegar por Elastic Stack. Kibana tambi\u00e9n permite gestionar y evaluar canalizaciones de nodos de ingesta.<\/span><\/p>\n Este post asume que usted tiene una comprensi\u00f3n b\u00e1sica de todos los componentes enumerados anteriormente y que est\u00e1 utilizando un equipo que ejecuta macOS para caminar a trav\u00e9s de la ilustraci\u00f3n.<\/span><\/p>\n Abra una nueva ventana de terminal y navegue hasta su directorio de usuario situado en \/Usuarios\/. Cree un nuevo directorio llamado Conectores<\/strong><\/em>. <\/span>Lo denominaremos <\/span>\"BASE_DIR<\/span>\" para el resto del post.<\/span><\/p>\n <\/p>\n \u00a0 Inicie un nuevo terminal y vaya a BASE_DIR<\/span><\/span>\u00a0y luego t<\/span>ealice los siguientes comandos (<\/span><\/span>de uno en uno)\u00a0<\/span><\/p>\n Abra una nueva ventana de terminal y navegue hasta el directorio BASE_DIR<\/span><\/span>\/es<\/strong><\/span> entonces tEscriba el siguiente comando<\/span><\/p>\n Ahora abra un navegador web y navegue hasta <\/span>https:\/\/localhost:9200<\/span><\/a>Deber\u00eda ver una respuesta como la siguiente, indicando que el servidor Elasticsearch est\u00e1 disponible.<\/span><\/p>\n Abra una nueva ventana de terminal y navegue hasta el directorio BASE_DIR<\/span><\/span>\/kibana\u00a0 <\/b>entonces tEscriba el siguiente comando<\/span><\/p>\n Para ver Kibana en acci\u00f3n, abra un navegador web y navegue hasta <\/span>https:\/\/localhost:5601<\/span><\/a> .<\/span><\/p>\n Inicie un nuevo terminal y vaya a BASE_DIR<\/span><\/span>\u00a0 y t<\/span>ealice los siguientes comandos (<\/span>de uno en uno)<\/span><\/span>. <\/b>Cuando se le solicite, introduzca \"<\/span>A\" <\/b>para descomprimir los archivos<\/span><\/p>\n Ahora vamos a explorar algunos de los directorios importantes dentro de <\/span>cbes<\/b><\/p>\n papelera<\/b> - contiene todas las utilidades de l\u00ednea de comandos necesarias para ayudar a gestionar los conectores.<\/span><\/p>\n config<\/b> - contiene el archivo de configuraci\u00f3n base que puede utilizarse como referencia.<\/span><\/p>\n secretos<\/b> - contiene las credenciales para conectarse a los servidores Couchbase y Elasticsearch.<\/span><\/p>\n Construyamos nuestro oleoducto. La llamaremos \"<\/span>hito-pipeline\". <\/i><\/b>Nuestro gasoducto<\/span><\/p>\n Utilizaremos dos de los procesadores existentes para construir nuestro canal de ingesta.<\/span><\/p>\n Procesador de guiones :<\/b> Ejecuta cualquier script definido por el <\/span>lenguaje de scripting indoloro<\/span><\/a>.<\/span><\/p>\n Procesador de may\u00fasculas<\/b> : Convierte el valor del campo especificado en MAY\u00daSCULAS <\/span><\/p>\n Connector asume la existencia de un archivo de configuraci\u00f3n default-connector.toml y lee este archivo para cualquier configuraci\u00f3n. Sin embargo, tambi\u00e9n se puede especificar la configuraci\u00f3n cuando se despliega el conector utilizando una opci\u00f3n de l\u00ednea de comandos - -config. Para este post usaremos la configuraci\u00f3n por defecto.<\/span><\/p>\n \u00a0Si desea omitir este paso, puede encontrar un archivo de configuraci\u00f3n completo modificado <\/span>aqu\u00ed<\/span><\/a>.\u00a0\u00a0<\/span><\/p>\n \u00a0a ) En virtud del [<\/em><\/span>grupo]<\/span><\/em> establece la clave name en \"landmark-example-group\".<\/span><\/p>\n \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0b) En virtud del [elasticsearch.docStructure] <\/em>establezca la clave documentContentAtTopLevel en \"true\". <\/span>\u00a0<\/span><\/i><\/p>\n c) Eliminar cualquier [[elasticsearch.type]]<\/em> y sustit\u00fayalo por lo siguiente.<\/span>\u00a0 \u00a0\u00a0<\/span><\/p>\n Ya est\u00e1 todo listo. Ahora es el momento de ver todo esto en acci\u00f3n.<\/span><\/p>\n Los conectores Elasticsearch pueden desplegarse de tres modos diferentes\u00a0<\/span><\/p>\n Solo<\/b> : Este es el modo m\u00e1s sencillo en el que el conector se ejecuta como un proceso independiente. El modo Solo es preferible en un entorno con poco tr\u00e1fico o en un entorno de desarrollo.<\/span><\/p>\n Distribuido <\/b>: En este modo, varios conectores se ejecutan como procesos diferentes. En un escenario en el que el tr\u00e1fico es de moderado a alto, se recomienda este modo. A diferencia del modo solo, en el que un \u00fanico proceso dedicado realiza todo el trabajo, en un modo distribuido hay m\u00e1s de un proceso y cada conector se configura de forma independiente para compartir la carga de trabajo.<\/span><\/p>\nRequisitos previos y supuestos<\/b><\/h4>\n
\n
\n
\n
Comenzar<\/strong><\/h4>\n
mkdir Connectors<\/pre>\n
Instalar e iniciar Elasticsearch y Kibana<\/b><\/h4>\n
\n
\n
Descargar<\/a> la \u00faltima versi\u00f3n de Elasticsearch y Kibana y trasladarlos al BASE_DIR<\/span>. Deber\u00eda ver dos archivos Elasticsearch--darwin-x86_64.tar.gz y kibana--darwin-x86_64.tar.tz.<\/h5>\n<\/li>\n
Descomprima los archivos descargados y cambie el nombre del directorio a es<\/strong> y kibana<\/strong><\/span><\/h5>\n<\/li>\n<\/ol>\n<\/li>\n<\/ol>\n
tar -xzvf elasticsearch-7.8.0-darwin-x86_64.tar.gz && tar -xzvf kibana-7.8.0-darwin-x86_64.tar.gz<\/pre>\n
mv elasticsearch-7.8.0-darwin-x86_64 es && mv kibana-7.8.0-darwin-x86_64 kibana<\/pre>\n
\u00a0 \u00a0 \u00a0 \u00a03. Iniciar Elasticsearch<\/span><\/h5>\n
bin\/elasticsearch<\/pre>\n
![\"Elasticsearch](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2020\/07\/es_launch.png\")
<\/p>\n4. Iniciar Kibana<\/span><\/h5>\n
bin\/kibana<\/pre>\n
![\"Kibana](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2020\/07\/kibana3.png\")
<\/h4>\nInstalar el conector Elasticsearch<\/b><\/h4>\n
\n
\n
Descargar<\/span><\/a> la \u00faltima versi\u00f3n del conector de Elasticsearch y moverlo al BASE_DIR<\/span><\/span>.<\/span><\/i> En el momento de escribir este post, la versi\u00f3n m\u00e1s reciente del conector disponible es la 4.2.2. Deber\u00edas haber descargado un archivo parecido a couchbase-elasticsearch-connector-<\/span><version><\/b>.zip.<\/span><\/h5>\n<\/li>\n
Descomprima el archivo descargado y cambie el nombre del directorio a <\/span>cbes.<\/b><\/h5>\n<\/li>\n<\/ol>\n<\/li>\n<\/ol>\n
unzip couchbase-elasticsearch-connector-4.2.2.zip<\/pre>\n
mv couchbase-elasticsearch-connector-4.2.2 cbes<\/pre>\n
![\"cbes](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2020\/07\/cbes.png\")
<\/p>\nConstruir Elasticsearch Ingest Node Pipeline<\/b><\/h4>\n
\n
\n
\n
\n
1. Abra una nueva ventana de terminal y ejecute el siguiente comando<\/span><\/h5>\n
curl -X PUT \"localhost:9200\/_ingest\/pipeline\/landmark-pipeline?pretty\" -H 'Content-Type: application\/json' -d'\r\n{\r\n\"description\" : \"Converts the field name to uppercase and creates new field last_update_time \",\r\n\"processors\" : [ { \"uppercase\": { \"field\": \"name\" }, \"script\": { \"lang\": \"painless\", \"source\": \"ctx.last_update_time = new Date();\" } } ]\r\n}'<\/pre>\n\u00a0 \u00a0 El comando curl anterior crea y guarda una definici\u00f3n de canalizaci\u00f3n en la base de datos Elasticsearch.<\/span><\/i><\/span><\/strong><\/h6>\n
2. Abra un navegador web y navegue hasta Kibana en <\/span>https:\/\/localhost:5601<\/span><\/a>. Deber\u00eda poder ver la canalizaci\u00f3n que acaba de crear en Descubrir -><\/strong>\u00a0 \u00a0 \u00a0 \u00a0 Ingest Node Pipelines.<\/span><\/h5>\n
![\"Ingest](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2020\/07\/pipeline2.png\")
<\/p>\nConfigurar el conector Elasticsearch<\/b><\/h4>\n
1. Abra una nueva ventana de terminal y vaya a BASE_DIR<\/span><\/span>\/<\/span><\/i>cbes\/config<\/b><\/h5>\n
<\/b>2. Copie el archivo ejemplo-conector.toml<\/span> y nombrarlo como conector-por-defecto.toml<\/span><\/strong>\u00a0ejecutando el siguiente comando<\/span><\/h5>\n
cp example-connector.toml default-connector.toml<\/pre>\n
3. Abra default-connector.toml en el editor de su elecci\u00f3n y modifique los siguientes par\u00e1metros de configuraci\u00f3n.Si desea obtener m\u00e1s informaci\u00f3n sobre los par\u00e1metros de configuraci\u00f3n de Elasticsearch Connector, vaya a <\/span>aqu\u00ed<\/span><\/a>.<\/span><\/h5>\n
Sugerencia: Si es la primera vez que trabaja con el formato de archivo de configuraci\u00f3n TOML, consulte el excelente libro de Nate Finch Introducci\u00f3n a TOML<\/a>o el especificaci\u00f3n oficial<\/a>.\u00a0<\/em><\/span><\/strong><\/h6>\n
[group]\r\nname = 'landmark-example-group'<\/pre>\n
[elasticsearch.docStructure]\r\ndocumentContentAtTopLevel = true<\/pre>\n
[[elasticsearch.type]]\r\nprefix = '_sync:'\r\nignore = true\r\n\r\n[[elasticsearch.type]]\r\nprefix = 'landmark_'\r\nindex = 'landmark'\r\npipeline = 'landmark-pipeline'<\/pre>\n
![\"Elasticsearch](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2020\/07\/config2.gif\")
<\/h4>\n<\/h4>\n
Despliegue del conector Elasticsearch<\/b><\/h4>\n