En este art\u00edculo veremos paso a paso c\u00f3mo se puede implementar un cl\u00faster de Couchbase en Amazon Elastic Container Service para Kubernetes (Amazon EKS): 1) utilizando varios grupos de servidores Couchbase que se pueden asignar a una zona de disponibilidad independiente para una alta disponibilidad 2) aprovechando los vol\u00famenes persistentes para una r\u00e1pida recuperaci\u00f3n en caso de fallo de la infraestructura.<\/p>\r\n\r\n\r\n\r\n Figura 1: Couchbase Autonomous Operator para Kubernetes automonitoriza y autorrepara la plataforma de base de datos Couchbase.<\/p>\r\n\r\n\r\n\r\n Hay tres requisitos previos de alto nivel antes de comenzar el despliegue de Couchbase Autonomous Operator en EKS:<\/p>\r\n\r\n\r\n\r\n Antes de comenzar con la configuraci\u00f3n del Operador Couchbase, ejecute el comando 'kubectl get nodes' desde la m\u00e1quina local para confirmar que el cl\u00faster EKS est\u00e1 en funcionamiento.<\/p>\r\n\r\n\r\n\r\n Despu\u00e9s de haber probado que podemos conectarnos al plano de control de Kubernetes que se ejecuta en el cl\u00faster de Amazon EKS desde nuestra m\u00e1quina local, ahora podemos comenzar con los pasos necesarios para implementar Couchbase Autonomous Operator, que es la tecnolog\u00eda que permite que el cl\u00faster de Couchbase Server sea administrado por Kubernetes.<\/p>\r\n\r\n\r\n\r\n Empecemos descargando la \u00faltima versi\u00f3n de Operador aut\u00f3nomo de Couchbase<\/a> y descompr\u00edmelo en la m\u00e1quina local. Cambia el directorio a la carpeta del operador para que podamos encontrar los archivos YAML que necesitamos para desplegar el operador Couchbase:<\/p>\r\n\r\n\r\n\r\n Crea un espacio de nombres que permita que los recursos del cluster est\u00e9n bien separados entre m\u00faltiples usuarios. Para ello utilizaremos un espacio de nombres \u00fanico llamado emart para nuestro despliegue y m\u00e1s tarde utilizaremos este espacio de nombres para desplegar Couchbase Cluster.<\/p>\r\n\r\n\r\n\r\n En su directorio de trabajo, cree un archivo namespace.yaml<\/a> con este contenido y guardarlo en el propio directorio del operador Couchbase:<\/p>\r\n\r\n\r\n\r\n Despu\u00e9s de guardar la configuraci\u00f3n del espacio de nombres en un archivo, ejecute kubectl cmd para crearlo:<\/p>\r\n\r\n\r\n\r\n Ejecute el comando get namespace para confirmar que se ha creado correctamente:<\/p>\r\n\r\n\r\n\r\n A partir de ahora utilizaremos emart como espacio de nombres para todo el aprovisionamiento de recursos.<\/p>\r\n\r\n\r\n\r\n Crear secreto para Operador Couchbase y servidores con un certificado dado. Ver c\u00f3mo crear un certificado personalizado<\/a> si no tiene.<\/p>\r\n\r\n\r\n\r\n El controlador de admisi\u00f3n es un componente necesario de Couchbase Autonomous Operator y debe instalarse por separado. El prop\u00f3sito principal del controlador de admisi\u00f3n es validar los cambios de configuraci\u00f3n del cluster de Couchbase antes de que el Operador act\u00fae sobre ellos, protegiendo as\u00ed su despliegue de Couchbase (y al Operador) de cualquier da\u00f1o accidental que pudiera surgir de una configuraci\u00f3n inv\u00e1lida. Para m\u00e1s detalles sobre la arquitectura, visite la p\u00e1gina de documentaci\u00f3n de Controlador de admisiones<\/a><\/p>\r\n\r\n\r\n\r\n Siga los siguientes pasos para desplegar el controlador de admisi\u00f3n:<\/p>\r\n\r\n\r\n\r\n El primer paso para instalar el Operador es instalar la definici\u00f3n de recurso personalizada (CRD) que describe el tipo de recurso CouchbaseCluster. Esto se puede lograr con el siguiente comando:<\/p>\r\n\r\n\r\n\r\n A continuaci\u00f3n, crearemos un funci\u00f3n de cl\u00faster<\/a> que permite al Operador acceder a los recursos que necesita para funcionar. Dado que el Operador gestionar\u00e1 muchos espacios de nombres<\/a>es mejor crear primero una funci\u00f3n de cl\u00faster, ya que puede asignar esa funci\u00f3n a un cl\u00faster. cuenta de servicio<\/a> en cualquier espacio de nombres.<\/p>\r\n\r\n\r\n\r\n Para crear el rol de cluster para el Operador, ejecute el siguiente comando:<\/p>\r\n\r\n\r\n\r\n Esta funci\u00f3n de cl\u00faster s\u00f3lo debe crearse una vez.<\/p>\r\n\r\n\r\n\r\n Una vez creado el rol de cluster, es necesario crear una cuenta de servicio en el espacio de nombres donde se est\u00e1 instalando el Operator. Para crear la cuenta de servicio:<\/p>\r\n\r\n\r\n\r\n Ahora asigna el rol de operador a la cuenta de servicio:<\/p>\r\n\r\n\r\n\r\n Ahora, antes de continuar, asegur\u00e9monos de que todos los roles y cuentas de servicio se han creado bajo el espacio de nombres emart<\/em>. Para ello, ejecute estas tres comprobaciones y aseg\u00farese de que cada una de ellas devuelve algo:<\/p>\r\n\r\n\r\n\r\n Ahora tenemos todos los roles y privilegios para desplegar nuestro operador. Desplegar el operador es tan simple como ejecutar el archivo operator.yaml desde el directorio Couchbase Autonomous Operator.<\/p>\r\n\r\n\r\n\r\n El comando anterior descargar\u00e1 la imagen Docker de Operator (especificada en el archivo operator.yaml) y crea un despliegue, que gestiona una \u00fanica instancia de Operator. El Operator utiliza un despliegue para poder reiniciarse si el pod en el que se est\u00e1 ejecutando muere.<\/p>\r\n\r\n\r\n\r\n Kubernetes tardar\u00eda menos de un minuto en desplegar el Operador y \u00e9ste estar\u00eda listo para ejecutarse.<\/p>\r\n\r\n\r\n\r\n Puede utilizar el siguiente comando para comprobar el estado de la implantaci\u00f3n:<\/p>\r\n\r\n\r\n\r\n Si ejecuta este comando inmediatamente despu\u00e9s de desplegar el Operador, el resultado ser\u00e1 algo parecido a lo siguiente:<\/p>\r\n\r\n\r\n\r\n Nota: La salida anterior significa que su operador Couchbase est\u00e1 desplegado y puede seguir adelante con el despliegue del cl\u00faster Couchbase a continuaci\u00f3n.<\/p>\r\n\r\n\r\n\r\n Puede utilizar el siguiente comando para verificar que el Operador se ha iniciado correctamente:<\/p>\r\n\r\n\r\n\r\n Si el Operador est\u00e1 en funcionamiento, el comando devuelve una salida en la que el campo LISTO muestra 1\/1, como por ejemplo:<\/p>\r\n\r\n\r\n\r\n Tambi\u00e9n puedes comprobar los registros para confirmar que el Operador est\u00e1 en funcionamiento. Busque el mensaje CRD inicializado, escuchando eventos... module=controller.<\/p>\r\n\r\n\r\n\r\n En un entorno de producci\u00f3n donde el rendimiento y SLA del sistema es lo m\u00e1s importante, siempre debemos planificar el despliegue del cl\u00faster Couchbase utilizando vol\u00famenes persistentes, ya que ayuda en:<\/p>\r\n\r\n\r\n\r\n En la siguiente secci\u00f3n, veremos c\u00f3mo definir clases de almacenamiento en diferentes zonas de disponibilidad y crear una plantilla de reclamaci\u00f3n de volumen persistente, que se utilizar\u00e1 en couchbase-cluster-con-pv-1.2.yaml<\/a> archivo.<\/p>\r\n\r\n\r\n\r\n Lo primero que tenemos que hacer es crear una credencial secreta que ser\u00e1 utilizada por la consola web administrativa durante el inicio de sesi\u00f3n. Para mayor comodidad, se proporciona un secreto de muestra en el paquete Operator. Cuando lo empuja a su cl\u00faster Kubernetes, el secreto establece el nombre de usuario en Administrador y la contrase\u00f1a en contrase\u00f1a.<\/p>\r\n\r\n\r\n\r\n Para insertar el secreto en su cl\u00faster Kubernetes, ejecute el siguiente comando:<\/p>\r\n\r\n\r\n\r\n Ahora, para poder utilizar PersistentVolume para los servicios de Couchbase (datos, \u00edndice, b\u00fasqueda, etc.), necesitamos crear primero Storage Classes (SC) en cada una de las Availability Zones (AZ). Empecemos por comprobar qu\u00e9 clases de almacenamiento existen en nuestro entorno.<\/p>\r\n\r\n\r\n\r\n Usemos el comando kubectl para averiguarlo:<\/p>\r\n\r\n\r\n\r\n El resultado anterior significa que s\u00f3lo tenemos la clase de almacenamiento gp2 por defecto y necesitamos crear clases de almacenamiento separadas en todos los AZs donde estamos planeando desplegar nuestro cluster Couchbase.<\/p>\r\n\r\n\r\n\r\n 1) Cree un archivo de manifiesto de clase de almacenamiento de AWS. El siguiente ejemplo define la estructura de la clase de almacenamiento (sc-gp2.yaml<\/a>), que utiliza el tipo de volumen Amazon EBS gp2 (tambi\u00e9n conocido como unidad SSD de prop\u00f3sito general). Este almacenamiento lo utilizaremos m\u00e1s adelante en nuestro VolumeClaimTemplate<\/em>.<\/p>\r\n\r\n\r\n\r\n 2) Ahora utilizaremos el comando kubectl para crear f\u00edsicamente una clase de almacenamiento a partir de los archivos de manifiesto que definimos anteriormente.<\/p>\r\n\r\n\r\n\r\n 3) Verificar la nueva clase de almacenamiento Server Group Awareness proporciona una mayor disponibilidad, ya que protege un cl\u00faster de fallos de infraestructura a gran escala, mediante la definici\u00f3n de grupos.<\/p>\r\n\r\n\r\n\r\n Los grupos deben definirse de acuerdo con la distribuci\u00f3n f\u00edsica de los nodos del cl\u00faster. Por ejemplo, un grupo s\u00f3lo debe incluir los nodos que se encuentran en un \u00fanico rack de servidores o, en el caso de despliegues en la nube, en una \u00fanica zona de disponibilidad. De este modo, si el rack de servidores o la zona de disponibilidad dejan de estar disponibles debido a un fallo el\u00e9ctrico o de red, la Conmutaci\u00f3n por error de grupo, si est\u00e1 activada, permite seguir accediendo a los datos afectados.<\/p>\r\n\r\n\r\n\r\n Por lo tanto, colocamos los servidores Couchbase en Con los grupos de servidores definidos, y las Storage Classes disponibles en las tres AZs, ahora vamos a crear vol\u00famenes de almacenamiento din\u00e1mico y montarlos en cada uno de los servidores Couchbase que requieran datos persistentes. Para ello, primero definiremos la Plantilla de Reclamaci\u00f3n de Volumen Persistente en nuestro couchbase-cluster.yaml<\/a> (que puede encontrarse en la carpeta del operador).<\/p>\r\n\r\n\r\n\r\n Una vez a\u00f1adida la plantilla de reclamaci\u00f3n, el paso final es emparejar la plantilla de reclamaci\u00f3n de volumen con los grupos de servidores correspondientes en cada una de las zonas. Por ejemplo, los Pods del grupo de servidores data-east-1a deben utilizar la plantilla volumeClaimTemplate denominada pvc-datos<\/em> para almacenar datos y pvc-default<\/em> para los archivos binarios y de registro de Couchbase.<\/p>\r\n\r\n\r\n\r\n Por ejemplo, a continuaci\u00f3n se muestra el emparejamiento de un Grupo de Servidores y su VolumeClaimTemplate asociado:<\/p>\r\n\r\n\r\n\r\n Observa que hemos creado tres grupos de servidores de datos separados (data-east-1a\/-1b\/-1c), cada uno ubicado en su propia AZ, utilizando plantillas de reclamaci\u00f3n de volumen persistente de esa AZ. Ahora, utilizando el mismo concepto, a\u00f1adiremos el \u00edndice y los servicios de consulta y los asignaremos en grupos de servidores separados para que puedan escalar independientemente de los nodos de datos.<\/p>\r\n\r\n\r\n\r\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2019\/04\/K8-Animation.gif\")
<\/figure>\r\n\r\n\r\n\r\n1. Requisitos previos<\/h2>\r\n\r\n\r\n\r\n
\r\n
2. Despliegue de Couchbase Autonomous Operator<\/h2>\r\n\r\n\r\n\r\n
$ kubectl get nodes\r\n\r\nNAME STATUS ROLES AGE VERSION\r\nip-192-168-106-132.ec2.internal Ready <none> 110m v1.11.9\r\nip-192-168-153-241.ec2.internal Ready <none> 110m v1.11.9\r\nip-192-168-218-112.ec2.internal Ready <none> 110m v1.11.9<\/code><\/pre>\r\n\r\n\r\n\r\n2.1. Descargar el paquete Operator<\/h3>\r\n\r\n\r\n\r\n
$ cd couchbase-autonomous-operator-kubernetes_1.2.0-981_linux-x86_64\r\n\r\n$ ls\r\n\r\nLicense.txt couchbase-cli-create-user.yaml operator-role-binding.yaml secret.yaml\r\nREADME.txt couchbase-cluster.yaml operator-role.yaml\r\nadmission.yaml crd.yaml operator-service-account.yaml\r\nbin operador-despliegue.yaml pillowfight-data-loader.yaml<\/code><\/pre>\r\n\r\n\r\n\r\n2.2. Crear un espacio de nombres<\/h3>\r\n\r\n\r\n\r\n
apiVersion: v1\r\ntipo: Espacio de nombres\r\nmetadatos:\r\n name: emart<\/code><\/pre>\r\n\r\n\r\n\r\n$ kubectl create -f namespace.yaml<\/code><\/pre>\r\n\r\n\r\n\r\n$ kubectl get namespaces\r\n\r\noutput:\r\n\r\nNOMBRE ESTADO EDAD\r\ndefault Activo 1h\r\nemart Activo 12s<\/code><\/pre>\r\n\r\n\r\n\r\n2.3. A\u00f1adir certificado TLS<\/h3>\r\n\r\n\r\n\r\n
$ kubectl create secret generic couchbase-server-tls --del-archivo chain.pem --del-archivo pkey.key --namespace emart\r\n\r\nsecret\/couchbase-server-tls creado<\/code><\/pre>\r\n\r\n\r\n\r\n$ kubectl create secret generic couchbase-operator-tls --from-file pki\/ca.crt --namespace emart\r\n\r\nsecret\/couchbase-operator-tls creado<\/code><\/pre>\r\n\r\n\r\n\r\n2.4. Instalaci\u00f3n del controlador de admisi\u00f3n<\/h3>\r\n\r\n\r\n\r\n
\r\n
$ kubectl create -f admission.yaml --namespace emart<\/code><\/pre>\r\n\r\n\r\n\r\n\r\n
$ kubectl get deployments --namespace emart\r\n\r\nNOMBRE DESEADO ACTUALIZADO ACTUAL DISPONIBLE ANTIG\u00dcEDAD\r\ncouchbase-operator-admission 1 1 1 1 1m<\/code><\/pre>\r\n\r\n\r\n\r\n2.5. Instalar CRD<\/h3>\r\n\r\n\r\n\r\n
kubectl create -f crd.yaml --namespace emart<\/code><\/pre>\r\n\r\n\r\n\r\n2.6. Crear un rol de operador<\/h3>\r\n\r\n\r\n\r\n
$ kubectl create -f operador-role.yaml --namespace emart<\/code><\/pre>\r\n\r\n\r\n\r\n2.7. Crear una cuenta de servicio<\/h3>\r\n\r\n\r\n\r\n
$ kubectl create serviceaccount couchbase-operator --namespace emart<\/code><\/pre>\r\n\r\n\r\n\r\n$ kubectl create rolebinding couchbase-operator --role couchbase-operator \\-serviceaccount emart:couchbase-operator --namespace emart\r\n--serviceaccount emart:couchbase-operator --namespace emart\r\n\r\nsalida:\r\n\r\nclusterrolebinding.rbac.authorization.k8s.io\/couchbase-operator creado<\/code><\/pre>\r\n\r\n\r\n\r\nKubectl get roles -n emart\r\nKubectl get rolebindings -n emart\r\nKubectl obtener sa -n emart<\/code><\/pre>\r\n\r\n\r\n\r\n2.8. Despliegue de Couchbase Operator<\/h3>\r\n\r\n\r\n\r\n
$ kubectl create -f operator-deployment.yaml --namespace emart\r\n\r\noutput:\r\n\r\ndeployment.apps\/couchbase-operator creado<\/code><\/pre>\r\n\r\n\r\n\r\na) Verificar el estado de la implantaci\u00f3n<\/h4>\r\n\r\n\r\n\r\n
$ kubectl get deployments --namespace emart<\/code><\/pre>\r\n\r\n\r\n\r\nNOMBRE DESEADO ACTUALIZADO ACTUAL DISPONIBLE EDAD\r\ncouchbase-operator 1 1 1 0 10s<\/code><\/pre>\r\n\r\n\r\n\r\nb) Verificar el estado del operador<\/h4>\r\n\r\n\r\n\r\n
$ kubectl get pods -l app=couchbase-operator --namespace emart<\/code><\/pre>\r\n\r\n\r\n\r\nNOMBRE LISTO ESTADO REINICIOS EDAD\r\ncouchbase-operator-8c554cbc7-6vqgf 1\/1 En ejecuci\u00f3n 0 57s<\/code><\/pre>\r\n\r\n\r\n\r\n$ kubectl logs couchbase-operator-8c554cbc7-6vqgf --namespace emart --tail 20\r\n\r\noutput:\r\n\r\ntime=\"2019-05-30T23:00:58Z\" level=info msg=\"couchbase-operator v1.2.0 (release)\" module=main\r\ntime=\"2019-05-30T23:00:58Z\" level=info msg=\"Obtaining resource lock\" module=main\r\ntime=\"2019-05-30T23:00:58Z\" level=info msg=\"Starting event recorder\" module=main\r\ntime=\"2019-05-30T23:00:58Z\" level=info msg=\"Attempting to be elected the couchbase-operator leader\" module=main\r\ntime=\"2019-05-30T23:00:58Z\" level=info msg=\"I'm the leader, attempt to start the operator\" module=main\r\ntime=\"2019-05-30T23:00:58Z\" level=info msg=\"Creating the couchbase-operator controller\" module=main\r\ntime=\"2019-05-30T23:00:58Z\" level=info msg=\"Event(v1.ObjectReference{Kind:\\\"Endpoints\\\", Namespace:\\\"emart\\\", Name:\\\"couchbase-operator\\\", UID:\\\"c96ae600-832e-11e9-9cec-0e104d8254ae\\\", APIVersion:\\\"v1\\\", ResourceVersion:\\\"950158\\\", FieldPath:\\\"\\\"}): type: 'Normal' reason: 'LeaderElection' couchbase-operator-6cbc476d4d-2kps4 became leader\" module=event_recorder<\/code><\/pre>\r\n\r\n\r\n\r\n3. Despliegue del cluster Couchbase usando vol\u00famenes persistentes<\/h2>\r\n\r\n\r\n\r\n
\r\n
3.1. Crear secreto para la consola de administraci\u00f3n de Couchbase<\/h3>\r\n\r\n\r\n\r\n
$ kubectl create -f secret.yaml --namespace emart\r\n\r\nSalida:\r\n\r\nSecret\/cb-example-auth creado<\/code><\/pre>\r\n\r\n\r\n\r\n3.2 Crear una clase de almacenamiento AWS para el cl\u00faster EKS<\/h3>\r\n\r\n\r\n\r\n
$ kubectl get storageclass\r\n\r\nSalida:\r\n\r\ngp2 (por defecto) kubernetes.io\/aws-ebs 12m<\/code><\/pre>\r\n\r\n\r\n\r\nPara obtener m\u00e1s informaci\u00f3n sobre las opciones disponibles para las clases de almacenamiento de AWS, consulte [AWS](https:\/\/kubernetes.io\/docs\/concepts\/storage\/storage-classes\/#aws) en la documentaci\u00f3n de Kubernetes.\r\n\r\n```\r\napiVersion: storage.k8s.io\/v1\r\ntipo: StorageClass\r\nmetadatos:\r\n labels:\r\n k8s-addon: storage-aws.addons.k8s.io\r\n nombre: gp2-multi-zone\r\npar\u00e1metros:\r\n type: gp2\r\nprovisioner: kubernetes.io\/aws-ebs\r\nreclaimPolicy: Borrar\r\nvolumeBindingMode: WaitForFirstConsumer\r\n```\r\nArriba hemos utilizado ```reclaimPolicy`` a _Delete_ que le dice a K8 que borre los vol\u00famenes de los Pods borrados pero puede cambiarlo a _Retain_ dependiendo de sus necesidades o si por motivos de resoluci\u00f3n de problemas quiere mantener los vol\u00famenes de los pods borrados.<\/code><\/pre>\r\n\r\n\r\n\r\n```\r\n$ kubectl create -f sc-gp2.yaml\r\n\r\nSalida:\r\n\r\nstorageclass.storage.k8s.io\/gp2-multi-zone creado\r\n```<\/code><\/pre>\r\n\r\n\r\n\r\n
Una vez que hayas creado todas las clases de almacenamiento, puedes verificarlas mediante el comando kubectl:<\/p>\r\n\r\n\r\n\r\n```\r\n$ kubectl get sc --namespace emart\r\n\r\noutput:\r\n\r\nNAME PROVISIONER AGE\r\ngp2 (por defecto) kubernetes.io\/aws-ebs 16h\r\ngp2-multi-zone kubernetes.io\/aws-ebs 96s\r\n```<\/code><\/pre>\r\n\r\n\r\n\r\n3.3. Conocimiento de los grupos de servidores<\/h3>\r\n\r\n\r\n\r\n
spec.servers.serverGroups<\/code>que se asignar\u00e1n a nodos EKS f\u00edsicamente separados que se ejecutan en tres AZ diferentes (us-east-1a\/b\/c):<\/p>\r\n\r\n\r\n\r\nespec:\r\n servidores:\r\n - nombre: data-east-1a\r\n tama\u00f1o: 1\r\n servicios:\r\n - data\r\n grupos de servidores:\r\n - us-east-1a<\/code><\/pre>\r\n\r\n\r\n\r\n3.4. A\u00f1adir clase de almacenamiento a la plantilla de reclamaci\u00f3n de volumen persistente<\/h3>\r\n\r\n\r\n\r\n
Espec:\r\n volumeClaimTemplates:\r\n - metadata:\r\n name: pvc-default\r\n spec:\r\n storageClassName: gp2-multi-zone\r\n recursos:\r\n requests:\r\n storage: 1Gi\r\n - metadatos:\r\n nombre: pvc-data\r\n spec:\r\n storageClassName: gp2-multi-zone\r\n recursos:\r\n requests:\r\n storage: 5Gi\r\n - metadatos:\r\n nombre: pvc-index\r\n spec:\r\n storageClassName: gp2-multi-zone\r\n recursos:\r\n requests:\r\n storage: 3Gi<\/code><\/pre>\r\n\r\n\r\n\r\nespec:\r\n servidores:\r\n - nombre: data-east-1a\r\n tama\u00f1o: 1\r\n servicios:\r\n - data\r\n grupos de servidores:\r\n - us-east-1a\r\n vaina:\r\n volumeMounts:\r\n default: pvc-default\r\n datos: pvc-datos\r\n - nombre: data-east-1b\r\n tama\u00f1o: 1\r\n servicios:\r\n - data\r\n servidoresGrupos:\r\n - us-east-1b\r\n pod:\r\n volumeMounts:\r\n default: pvc-default\r\n datos: pvc-datos\r\n - nombre: data-east-1c\r\n tama\u00f1o: 1\r\n servicios:\r\n - data\r\n serverGroups:\r\n - us-east-1c\r\n pod:\r\n volumeMounts:\r\n default: pvc-default\r\n datos: pvc-datos<\/code><\/pre>\r\n\r\n\r\n\r\n3.5. Despliegue del cl\u00faster Couchbase<\/h3>\r\n\r\n\r\n\r\n
![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2019\/04\/K8-Cluster--1024x516.png\")
<\/figure>\r\n\r\n\r\n\r\n