Guía para la fragmentación de datos

¿Qué es la fragmentación de datos?

La fragmentación de datos es una técnica que divide grandes conjuntos de datos en partes más pequeñas y manejables. Es crucial para inteligencia artificial, análisis de macrodatosy la computación en nube porque optimiza el uso de la memoria, acelera el procesamiento y mejora la escalabilidad. Sigue leyendo para saber qué tipo de datos se pueden agrupar en trozos y repasa los distintos tipos de agrupación en trozos, casos de uso, estrategias y consideraciones generales para la implementación de estrategias.

¿Qué tipo de datos pueden dividirse en trozos?

Puedes trocear casi cualquier tipo de datos. He aquí algunos ejemplos:

Datos de texto

En el procesamiento del lenguaje natural (PLN) y el análisis de sentimientos, los grandes documentos de texto, libros y registros pueden dividirse en párrafos, frases y unidades de token más pequeñas.

Datos numéricos

Los grandes conjuntos de datos, como los datos tabulares o de series temporales, pueden dividirse en subconjuntos o intervalos de tiempo más pequeños para facilitar el análisis, la visualización y el entrenamiento de modelos de aprendizaje automático.

Datos binarios

Archivos como paquetes de software y bases de datos pueden dividirse en bloques para su transmisión, almacenamiento y deduplicación.

Datos de imagen, vídeo y audio

Las imágenes, el vídeo y el audio pueden dividirse en segmentos más pequeños, como mosaicos de imágenes, fotogramas de vídeo y muestras de audio, para facilitar tareas como la compresión, el streaming y el procesamiento localizado.

Datos de red o streaming

Los flujos de datos continuos, como las salidas de los sensores IoT o los registros de tráfico en tiempo real, pueden dividirse en trozos basados en el tiempo o en el tamaño para su análisis o almacenamiento en tiempo real.

La fragmentación simplifica el tratamiento de los datos y mejora el rendimiento, la escalabilidad y la facilidad de uso, por lo que resulta esencial para el análisis.

Tipos de fragmentación

Existen varios tipos de fragmentación de datos, algunos de los cuales son:

Troceado de tamaño fijo

En este escenario, los datos se dividen en trozos de igual tamaño. Es sencillo e ideal para sistemas de almacenamiento de archivos, procesamiento de datos en streaming y dosificación en aprendizaje automático.

Troceado de tamaño variable

En este escenario, los datos se dividen en trozos de varios tamaños. Es ideal para la deduplicación en sistemas de almacenamiento y para manejar patrones de datos irregulares.

Clasificación por contenidos

En este escenario, los datos se fragmentan en función de patrones específicos dentro del contenido y no del tamaño. Por lo general, puede utilizarse para sistemas de copia de seguridad y deduplicación con contenido similar.

Agrupación lógica

Con este tipo de fragmentación, los datos se desglosan por unidades lógicas y no por tamaño. Procesa el texto por frases o párrafos, los datos de series temporales por intervalos de tiempo y los registros de bases de datos por claves.

Agrupación dinámica

Con este tipo de fragmentación, los datos se dimensionan y ajustan en función de restricciones como la disponibilidad de memoria y distribución de la carga de trabajo. Es ideal para aplicaciones de streaming, análisis en tiempo realy sistemas adaptativos.

Clasificación por archivos

Con este tipo de fragmentación, los archivos grandes se dividen en trozos más pequeños para su transferencia, almacenamiento y procesamiento. Se utiliza en sistemas de intercambio de archivos, almacenamiento en la nube y streaming de vídeo. Un ejemplo de fragmentación basada en archivos es la división de un vídeo en segmentos más pequeños para el streaming adaptativo.

Clasificación por tareas

Con este tipo de chunking, los datos se dividen en trozos optimizados para tareas de procesamiento paralelo. Se utiliza para el entrenamiento paralelo de modelos de aprendizaje automático y sistemas distribuidos.

¿Para qué sirve la fragmentación de datos?

La fragmentación de datos resuelve problemas relacionados con los límites de memoria, la transferencia de datos y la velocidad de procesamiento. He aquí algunas de las formas concretas en que se utiliza:

Optimización del uso de la memoria

La fragmentación permite a los sistemas manejar grandes conjuntos de datos sin sobrepasar su capacidad de memoria. La prevención de la sobrecarga de memoria permite realizar operaciones eficientes incluso en sistemas con recursos limitados. Por ejemplo, en el aprendizaje automático, los datos pueden procesarse en pequeños lotes durante el entrenamiento para evitar la saturación de los recursos del sistema y, al mismo tiempo, garantizar unos cálculos más rápidos y eficientes.

Mejorar la transferencia de datos

La fragmentación mejora la transferencia de datos al dividir los archivos grandes en trozos más pequeños, lo que optimiza la utilización del ancho de banda. Este enfoque reduce el tiempo de inactividad en caso de error, ya que sólo es necesario reenviar el trozo dañado en lugar de todo el archivo. La fragmentación también mejora la capacidad de recuperación frente a las limitaciones de ancho de banda y garantiza transferencias de datos más fluidas y fiables a través de las redes.

Tratamiento paralelo de datos

La fragmentación permite dividir grandes conjuntos de datos en trozos más pequeños que pueden procesarse simultáneamente en varios procesadores o nodos. Cada trozo se procesa de forma independiente, lo que permite ejecutar las tareas en paralelo, reduciendo el tiempo total de procesamiento y mejorando la eficiencia. Una vez procesados, los trozos individuales se combinan para producir un resultado unificado.

Generación mejorada por recuperación (RAG) y grandes modelos lingüísticos (LLM)

La fragmentación de datos es esencial en los marcos RAG y LLM porque gestiona grandes conjuntos de datos y optimiza el procesamiento dentro de unos límites de tokens fijos. En RAG, los documentos de gran tamaño se dividen en fragmentos más pequeños y semánticamente coherentes que pueden indexarse y recuperarse de forma eficiente. Cuando se realiza una consulta, sólo se obtienen los fragmentos más relevantes y se transmiten al LLM, lo que garantiza respuestas precisas y contextualmente relevantes. En general, la fragmentación aumenta la precisión de la recuperación, reduce la latencia y permite gestionar consultas complejas sin problemas.

Estrategias de fragmentación

La estrategia elegida depende del tipo de datos, el caso de uso y el resultado previsto. A continuación se describen algunas estrategias de fragmentación habituales:

• • Tratamiento por lotes: Divide grandes conjuntos de datos en lotes más pequeños que pueden procesarse secuencialmente. Cada lote proporciona otra pieza incremental, actualizando los sistemas de forma iterativa.
  • Ventana: Una técnica de fragmentación en la que un flujo continuo de datos se divide en trozos más pequeños denominados ventanas. Esta estrategia permite el análisis en tiempo real y la detección de patrones, ya que procesa cada ventana de forma independiente.
  • Clasificación distribuida: Divide los datos para su procesamiento en varios nodos. Al permitir que los trozos se procesen de forma independiente, se mejora la tolerancia a fallos, la escalabilidad y la eficiencia.
  • Estrategias híbridas: Combina varias estrategias de fragmentación para escenarios con requisitos complejos. Por ejemplo, puede utilizar troceado de tamaño fijo y lógico para dividir los archivos de vídeo en trozos de tamaño fijo conservando los límites de la escena para una reproducción y un análisis fluidos.
  • Troceado sobre la marcha: En lugar de predefinir los trozos, esta estrategia los escupe sobre la marcha durante el procesamiento. Funciona bien para aplicaciones en tiempo real como el streaming en directo o el procesamiento de datos de sensores.

Consideraciones sobre la agrupación de datos

Al aplicar la fragmentación, es importante tener en cuenta lo siguiente para garantizar la eficacia y la precisión:

• • Tamaño del trozo: Seleccionar un tamaño de trozo adecuado es fundamental. Si es demasiado grande, puede sobrecargar la memoria o ralentizar el procesamiento; si es demasiado pequeño, puede aumentar la sobrecarga, reduciendo la eficiencia.
  • Características de los datos: Es importante tener en cuenta si los datos están estructurados, sin estructurarPor ejemplo, los datos de texto se benefician de la fragmentación basada en el contenido. Por ejemplo, los datos de texto se benefician de la fragmentación basada en el contenido, mientras que los datos numéricos se adaptan mejor a la fragmentación de tamaño fijo.
  • Entorno de procesamiento: Las capacidades del hardware y el software, como la RAM disponible y la potencia de procesamiento, influyen a la hora de determinar el tamaño de los trozos y la estrategia. Los sistemas con recursos limitados pueden necesitar trozos más pequeños.
  • Pida: Garantizar que los trozos mantienen el orden lógico de los datos es crucial para los datos temporales o de series temporales. Una alineación inadecuada de los trozos puede dar lugar a análisis o entrenamientos de modelos incorrectos.
  • Escalabilidad: La estrategia de fragmentación debe adaptarse al crecimiento de los conjuntos de datos.

Conclusión y recursos adicionales

Al dividir grandes conjuntos de datos en partes más pequeñas y manejables, la fragmentación de datos optimiza el uso de la memoria, mejora la velocidad de procesamiento y garantiza la escalabilidad de las aplicaciones, desde RAG y LLM hasta análisis en tiempo real y transmisión de vídeo. Tanto si trabaja con documentos de texto masivos, imágenes y vídeos, como con sistemas distribuidos, la fragmentación de datos le permite dar sentido a conjuntos de datos complejos al tiempo que maximiza el rendimiento. Si conoce los distintos tipos de fragmentación y aplica las estrategias adecuadas, podrá sacar el máximo partido a sus datos.

Para obtener más información sobre temas relacionados con el análisis de datos basado en IA, consulte los siguientes recursos:

• • Guía paso a paso para preparar los datos para la generación mejorada por recuperación (RAG)
  • Desarrollar aplicaciones RAG de alto rendimiento con Couchbase y Vectorize
  • Creación de aplicaciones RAG integrales con Couchbase Vector Search
  • Visión general de la generación mejorada por recuperación (RAG)
  • Explicación de los grandes modelos lingüísticos