データエクスポートスクリプト

Influxデータ

アナライザーホストでlti-get-influx-data.shを使用して、CSV形式でデータをエクスポートできます。

スクリプトの取得

アナライザーホストでターミナルセッションを開きます。

スクリプトをダウンロード：

wget https://api.latence.ca/software/lti-get-influx-data.sh

実行可能にします：

chmod +x lti-get-influx-data.sh

使用方法

次のパラメータを指定して./lti-get-influx-data.shを呼び出します：

エージェントID
プロトコル名 -- twamp、icmp、tcp、http、httpsのいずれか
抽出するデータの秒数 -- 最大3か月
行の最後に--dropsを追加して、レイテンシー値の代わりにドロップ（存在する場合）をダンプできます

たとえば、./lti-get-influx-data.sh 100 tcp 10を実行すると、エージェントID 100の最後の10秒間のtcpレイテンシーデータが抽出されます。サンプリングレートが2秒に設定されている場合、結果は以下のブロックと同様になります：

,result,table,_start,_stop,_time,_value,_field,_measurement,agentID
,_result,0,2023-01-16T14:55:18.99613757Z,2023-01-16T14:55:28.99613757Z,2023-01-16T14:55:20.009Z,29.45599937438965,delay,tcp_result,100
,_result,0,2023-01-16T14:55:18.99613757Z,2023-01-16T14:55:28.99613757Z,2023-01-16T14:55:22.07Z,29.535999298095703,delay,tcp_result,100
,_result,0,2023-01-16T14:55:18.99613757Z,2023-01-16T14:55:28.99613757Z,2023-01-16T14:55:24.131Z,28.83099937438965,delay,tcp_result,100
,_result,0,2023-01-16T14:55:18.99613757Z,2023-01-16T14:55:28.99613757Z,2023-01-16T14:55:26.191Z,28.9060001373291,delay,tcp_result,100
,_result,0,2023-01-16T14:55:18.99613757Z,2023-01-16T14:55:28.99613757Z,2023-01-16T14:55:28.251Z,29.325000762939453,delay,tcp_result,100

4つのフィールドにアクセスできます： * _time：測定が行われた正確な時刻 * _value：測定されたレイテンシー（ミリ秒単位）またはパケットドロップの数 * _measurement：プロトコルのタイプと、値フィールドに表示される値の種類を示します：レイテンシー（protocolname_result）またはドロップ（protocolname_drop） * agentID：測定を行うために使用されたエージェントID

>リダイレクションを使用してデータをファイルにリダイレクトできます。

たとえば、コマンド./lti-get-influx-data.sh 100 tcp 10 > tcp-data.csvは、ダンプされたtcpデータを含むtcp-data.csvという名前のテキストファイルを作成します。

次のパラメータを指定して./lti-get-influx-data.shを呼び出して、エージェントのメタデータを取得することもできます：

エージェントID
行の最後に--metadata-onlyを追加

たとえば、コマンド./lti-get-influx-data.sh 100 --metadata-only > 100-metadata.csvは、エージェント100のメタデータを含む100-metadata.csvという名前のテキストファイルを作成します。

Kafkaデータ

kafka-readerプログラムを使用して、CSV形式でKafkaデータをエクスポートできます。

プログラムの取得

ターミナルセッションを開きます。

ファイルをダウンロード：

wget https://api.latence.ca/software/kafka-reader-files.zip

解凍：

unzip kafka-reader-files.zip

使用方法

kafka-readerディレクトリに移動

cd kafka-reader-files
環境変数を設定します。kafka.envファイルを変更し、必要に応じて最後の3つの変数を変更します。利用可能なトピックは、twamp_influx、icmp_influx、iperf_influx、traceroute_influx、tcp_influx、udp_influx、http_influx、https_influxです。

BOOTSTRAP_SERVERS=msgbus.latence.ca:12092 SECURITY_PROTOCOL=SASL_SSL SSL_CAFILE=./auth/certificate.txt SASL_PLAIN_USERNAME= SASL_PLAIN_PASSWORD= SASL_MECHANISM=PLAIN TOPIC_OFFSET=100 NUM_ROWS=200 TOPIC=https_influx

次のコマンドを実行して変数をロードします。

export $(cat kafka.env | xargs)
requirements.dev.txtパッケージをインストール

pip3 install -r requirements.dev.txt
/etc/hostsを変更して、msgbus.latence.caをアナライザーホストに向けるように、次の行を追加します：

<アナライザーIPに置き換え> msgbus.latence.ca
プログラムを実行してCSVを生成

python3 run.py

レイテンシーと地理位置情報データ

次のプログラムを使用して、CSV形式でレイテンシーと地理位置情報データをエクスポートできます。

プログラムの取得

ターミナルセッションを開きます。

ファイルをダウンロード：

wget https://api.latence.ca/software/latency-geoloc-csv-generator.zip

解凍：

unzip latency-geoloc-csv-generator.zip

使用方法

latency-geoloc-csv-generatorディレクトリに移動

cd latency-geoloc-csv-generator
requirements.dev.txtパッケージをインストール

pip3 install -r requirements.dev.txt
次のコマンドを使用してデータを抽出します。

python3 csv-writing-script.py <Influx IP> <開始時刻> <終了時刻> <AgentID>
- Influx IP - InfluxDBのIPアドレス
- 開始時刻 - 2023-06-21T22:00:00Zの形式を使用したGMTでの開始時刻
- 終了時刻 - 2023-06-23T22:00:00Zの形式でのGMTでの終了時刻
- AgentID - エージェントのID
例

python3 csv-writing-script.py 34.83.172.98 2023-06-21T22:00:00Z 2023-06-23T22:00:00Z 1

データ抽出のトラブルシューティング

Influxデータ取得スクリプト

権限が拒否されました

次の出力が表示された場合：

-bash: ./lti-get-influx-data.sh: Permission denied**

chmod +x ./lti-get-influx-data.shを実行したことを確認してください

データなし

正しいエージェントIDを使用していることを確認してください
十分な秒数のデータを要求したことを確認してください