aws環境でログ基盤を構築する必要があり、周辺関連の知識がたりなさすぎたので調査した時の勉強メモ。 lamda関数 処理フロー クラアント(td-agent)→Kinesis firehose→lamdba→s3 # # lamdba # import boto3 import json import base64 import time import sys…

fluent(td-agent)で、Buffer溢れにによるログ欠損が発生したのでその時の調査・対応を下記へ記載しておく。 ・対応フロー コンソールからtd-agentのログ状況確認 Bufferの蓄積状況確認 td-agent.conf確認 td-agent.conf設定変更 td-agnetサービス再起動 以下…

fluent(td-agent)を使用したlabel切り分けで各label毎にrecord追加する対応が発生したので設定時でのメモ。 sourceディレクティブが複数あり、送信時に特定recordを追加して送りたい場合に有効。 汎用性がありそうな為、調査・対応を下記へ記載しておく。 以…

fluent(td-agent)サーバ構築時、buffer等の監視設定時のメモ。 Buffer溢れ、転送先サーバ接続不可などの検知に使用出来ればと考えた。 設定方法を下記へ記載しておく。 以下監視項目 buffer_queue_length -> (バッファーに蓄積されているキューの数)buffer_q…

fluent(td-agent)を使用したlabel切り分けで一時的設定→送信時変更する対応が発生したので設定時でのメモ。 sourceディレクティブが複数あり、送信時にsubgroup化して送りたい場合に有効。 sourceディレクティブにsubgroup機能が無い為、送信時のlabelディレ…