Saltar a contenido

Scripts de exportación de datos

Datos de Influx

Puede utilizar lti-get-influx-data.sh en su host del analyzer para exportar datos en formato CSV.

Obtención del script

Abra una sesión de terminal en su host del analyzer.

Descargue el script:

wget https://api.latence.ca/software/lti-get-influx-data.sh

Hágalo ejecutable:

chmod +x lti-get-influx-data.sh

Uso

Llame a ./lti-get-influx-data.sh con los siguientes parámetros:

  1. ID del agente

  2. Nombre del protocolo -- uno de twamp, icmp, tcp, http, https

  3. Segundos de datos que extraer -- hasta 3 meses

  4. Puede añadir --drops al final de la línea para extraer las pérdidas (si las hay) en lugar de los valores de latencia

Por ejemplo, ejecutar ./lti-get-influx-data.sh 100 tcp 10 extraerá los últimos 10 segundos de datos de latencia tcp para el agente con id 100. Con una frecuencia de muestreo configurada en 2 segundos, el resultado será similar al bloque siguiente:

,result,table,_start,_stop,_time,_value,_field,_measurement,agentID
,_result,0,2023-01-16T14:55:18.99613757Z,2023-01-16T14:55:28.99613757Z,2023-01-16T14:55:20.009Z,29.45599937438965,delay,tcp_result,100
,_result,0,2023-01-16T14:55:18.99613757Z,2023-01-16T14:55:28.99613757Z,2023-01-16T14:55:22.07Z,29.535999298095703,delay,tcp_result,100
,_result,0,2023-01-16T14:55:18.99613757Z,2023-01-16T14:55:28.99613757Z,2023-01-16T14:55:24.131Z,28.83099937438965,delay,tcp_result,100
,_result,0,2023-01-16T14:55:18.99613757Z,2023-01-16T14:55:28.99613757Z,2023-01-16T14:55:26.191Z,28.9060001373291,delay,tcp_result,100
,_result,0,2023-01-16T14:55:18.99613757Z,2023-01-16T14:55:28.99613757Z,2023-01-16T14:55:28.251Z,29.325000762939453,delay,tcp_result,100

Tiene acceso a 4 campos:
_time: El momento exacto en que se realizó la medición
 _value: La latencia medida (en ms) o el número de pérdidas de paquetes
_measurement: Indica el tipo de protocolo y el tipo de valor mostrado en el campo value: latencia (protocolname_result) o pérdidas (protocolname_drop)
 agentID: El ID del agente utilizado para realizar la medición

Puede redirigir los datos a un archivo utilizando la redirección >.

Por ejemplo, el comando ./lti-get-influx-data.sh 100 tcp 10 > tcp-data.csv creará un archivo de texto llamado tcp-data.csv, que contendrá los datos tcp extraídos.

También puede llamar a ./lti-get-influx-data.sh con los siguientes parámetros para obtener los metadatos de un agente:

  1. ID del agente
  2. Añada --metadata-only al final de la línea

Por ejemplo, el comando ./lti-get-influx-data.sh 100 --metadata-only > 100-metadata.csv creará un archivo de texto llamado 100-metadata.csv, que contendrá los metadatos del agente 100.

Datos de Kafka

Puede utilizar el programa kafka-reader para exportar los datos de Kafka en formato CSV.

Obtención del programa

Abra una sesión de terminal.

Descargue los archivos:

wget https://api.latence.ca/software/kafka-reader-files.zip

Extráigalo:

unzip kafka-reader-files.zip

Uso

  1. Vaya al directorio kafka-reader

    cd kafka-reader-files

  2. Configure las variables de entorno. Edite el archivo kafka.env y modifique las tres últimas variables según sus necesidades. Los topics disponibles son twamp_influx, icmp_influx, iperf_influx, traceroute_influx, tcp_influx, udp_influx, http_influx, https_influx.

    BOOTSTRAP_SERVERS=msgbus.latence.ca:12092 SECURITY_PROTOCOL=SASL_SSL SSL_CAFILE=./auth/certificate.txt SASL_PLAIN_USERNAME= SASL_PLAIN_PASSWORD= SASL_MECHANISM=PLAIN TOPIC_OFFSET=100 NUM_ROWS=200 TOPIC=https_influx

    Ejecute el siguiente comando para cargar las variables.

    export $(cat kafka.env | xargs)

  3. Instale los paquetes de requirements.dev.txt

    pip3 install -r requirements.dev.txt

  4. Modifique el archivo /etc/hosts para que msgbus.latence.ca apunte al host del analyzer añadiendo la siguiente línea:

    <Sustituir por la IP del analyzer> msgbus.latence.ca

  5. Ejecute el programa para generar el CSV

    python3 run.py

Datos de latencia y geolocalización

Puede utilizar el siguiente programa para exportar los datos de latencia y geolocalización en formato CSV.

Obtención del programa

Abra una sesión de terminal.

Descargue los archivos:

wget https://api.latence.ca/software/latency-geoloc-csv-generator.zip

Extráigalo:

unzip latency-geoloc-csv-generator.zip

Uso

  1. Vaya al directorio latency-geoloc-csv-generator

    cd latency-geoloc-csv-generator

  2. Instale los paquetes de requirements.dev.txt

    pip3 install -r requirements.dev.txt

  3. Utilice el siguiente comando para extraer los datos.

    python3 csv-writing-script.py <IP de Influx> <hora de inicio> <hora de fin> <AgentID>

    • IP de Influx - Dirección IP de InfluxDB
    • hora de inicio - Hora de inicio en GMT con el formato 2023-06-21T22:00:00Z
    • hora de fin - Hora de fin en GMT con el formato 2023-06-23T22:00:00Z
    • AgentID - ID del agente

    Ejemplo

    python3 csv-writing-script.py 34.83.172.98 2023-06-21T22:00:00Z 2023-06-23T22:00:00Z 1

Resolución de problemas de la extracción de datos

Script de obtención de datos de Influx

Permiso denegado

Si obtiene la siguiente salida:

-bash: ./lti-get-influx-data.sh: Permission denied**

Asegúrese de haber ejecutado chmod +x ./lti-get-influx-data.sh

Sin datos

  • Asegúrese de utilizar el ID de agente correcto

  • Asegúrese de haber solicitado un número suficiente de segundos de datos