Migrar grandes y complejos conjuntos de datos de Hugging Face a Couchbase es ahora más fácil. Tanto si prefieres trabajar desde la línea de comandos como desde tu IDE favorito, nuestro nuevo Cara a cara con Couchbase herramientas de migración Extensión Couchbase VS Code y el cbmigrate CLI: simplifica y agiliza el proceso.
Presentación de las herramientas de migración Hugging Face-to-Couchbase
Nuestro conjunto de herramientas para migrar conjuntos de datos de Hugging Face a Couchbase incluye dos componentes básicos, optimizados para diferentes flujos de trabajo de desarrollo:
-
- Extensión Couchbase VS Code
- Herramienta CLI (cbmigrate cara de abrazo)
Tanto si eres un purista de la línea de comandos como un entusiasta de las IDE, tenemos todo lo que necesitas.
1. Extensión Couchbase VS Code
¿Prefiere una interfaz gráfica en VS Code? Visite Extensión de Couchbase permite la migración de conjuntos de datos sin problemas directamente desde su IDE.
Características principales
-
- Migración integrada: Realice migraciones de conjuntos de datos dentro de VS Code, agilizando su flujo de trabajo.
- Interfaz fácil de usar: Utilice una interfaz gráfica de usuario para configurar y supervisar los procesos de migración de datos sin esfuerzo.
Para más información, consulte el Repositorio de plugins de Couchbase VS Code.
2. Herramienta de línea de comandos: cbmigrate hugging-face
Para los desarrolladores que prefieren el terminal, el cara de abrazo subcomando de cbmigrate proporciona una forma potente y eficaz de migrar conjuntos de datos de Hugging Face a Couchbase.
Características principales
-
- Exploración sencilla de conjuntos de datos: Enumerar configuraciones, divisiones y campos dentro de los conjuntos de datos de Cara Abrazada antes de comprometerse con una migración.
- Migración flexible: Admite streaming, procesamiento por lotes y generación de ID de documentos personalizados.
- Seguridad y privacidad: Admite autenticación para conjuntos de datos privados y conexiones Couchbase seguras.
Utilización
Lista de configuraciones de conjuntos de datos
|
1 |
cbmigrate hugging-face list-configs --path <DATASET_PATH_OR_NAME> |
Lista de divisiones de conjuntos de datos
|
1 |
cbmigrate hugging-face list-splits --path <DATASET_PATH_OR_NAME> |
Lista de campos del conjunto de datos
|
1 |
cbmigrate hugging-face list-fields --path <DATASET_PATH_OR_NAME> |
Migrar el conjunto de datos a Couchbase
|
1 2 3 |
cbmigrate hugging-face migrate --path <DATASET_PATH_OR_NAME> --id-fields <FIELD1,FIELD2,...> \ --cb-url couchbase://<HOST> --cb-username <USERNAME> --cb-password <PASSWORD> \ --cb-bucket <BUCKET_NAME> --cb-scope <SCOPE_NAME> --cb-collection <COLLECTION_NAME> |
Ejemplo: migración sencilla de un conjunto de datos públicos
|
1 2 3 |
cbmigrate hugging-face migrate --path glue --split train --id-fields idx \ --cb-url couchbase://localhost --cb-username Administrator --cb-password password \ --cb-bucket sample_bucket --cb-scope sample_scope --cb-collection sample_collection |
Para más información, visite cbmigrate Repositorio GitHub.
