sshターミナル環境でtopコマンド発行時、terminal is not big enoughが表示され出力されないので調査した時の勉強メモ。 sshターミナルでtopコマンド発行 発生内容：Sorry, terminal is not big enough 対応：代替えコマンド発行(mpstat -P ALL) [root@**** …

aws環境でログ基盤を構築する必要があり、周辺関連の知識がたりなさすぎたので調査した時の勉強メモ。 lamda関数 処理フロー クラアント(td-agent)→Kinesis firehose→lamdba→s3 # # lamdba # import boto3 import json import base64 import time import sys…

fluent(td-agent)で、Buffer溢れにによるログ欠損が発生したのでその時の調査・対応を下記へ記載しておく。 ・対応フロー コンソールからtd-agentのログ状況確認 Bufferの蓄積状況確認 td-agent.conf確認 td-agent.conf設定変更 td-agnetサービス再起動 以下…

ansibleでplaybookを書いていたが、大規模化するにつれ実行時間を要するようになり調査・対応を下記へ記載しておく。 以下、設定環境：ansible version2.1 ・ansible.confパラメータチューニング # cat .ansible.cfg [defaults] transport=ssh pipelining=Tr…

Mongodb に関してslowlog出力設定での調査・対応を下記へ記載しておく。 mongosに設定追加は「profile currently not supported via mongos」とエラーとなる為、shard(mongod)に設定をする。 mongodへ設定追加後、mongosで解析行う。 以下対応フロー mongod…

apacheのaccess_logをカスタム出力設定後、ローテート設定したが正常稼働せず調査・対応を下記へ記載しておく。 以下対応フロー apacheのaccess_logを稼働出力設定する ログローテート設定に上記出力したファイルをローテート設定 ログローテート実行 ログロ…

apacheのaccess_logを構築した集約サーバへ収集する必要があり、そのついでに解析しやすいようjson化設定したのでメモ。 apacheログをjson化する要件が発生した場合汎用性がありそうなので、調査・対応を下記へ記載しておく。 以下構築要件 apacheのaccess_l…

shellで日時バックアップ処理を行う必要があった為、設定時メモ。 以下構築条件 デイリーバックアップ 圧縮必須 suffixが日時のみ処理 開始・終了時刻が記載 本条件でshell scriptを書いた #!/bin/sh set -e readonly SCRIPT_NAME=${0##*/} readonly HISTORY…

td-agentを起動した場合、buffer_path指定でエラー発生し、嵌ったので設定時メモ。 sourceディレクティブが複数あり、各tagを指定してサーバへ送信している環境。 以下構築条件 各sourceディレクティブでtag指定 sourceディレクティブでtag名重複は無い サー…

fluent(td-agent)を使用したlabel切り分けで各label毎にrecord追加する対応が発生したので設定時でのメモ。 sourceディレクティブが複数あり、送信時に特定recordを追加して送りたい場合に有効。 汎用性がありそうな為、調査・対応を下記へ記載しておく。 以…

fluent(td-agent)サーバ構築時、buffer等の監視設定時のメモ。 Buffer溢れ、転送先サーバ接続不可などの検知に使用出来ればと考えた。 設定方法を下記へ記載しておく。 以下監視項目 buffer_queue_length -> (バッファーに蓄積されているキューの数)buffer_q…

fluent(td-agent)を使用したlabel切り分けで一時的設定→送信時変更する対応が発生したので設定時でのメモ。 sourceディレクティブが複数あり、送信時にsubgroup化して送りたい場合に有効。 sourceディレクティブにsubgroup機能が無い為、送信時のlabelディレ…

ansibleのplaybookを使用し、ホスト側から配下内に複数クライアントへ特定コマンドを実行する * 下記サンプルはmysqlのerror,slowに一括でコマンド実行しログ出力させる。 * td-agent等使用し、ログ収集行う場合のテスト出力で便利 # cat hosts [hostlist] h…

特定日時間でのループ処理 start、endを指定 daily処理 上記要件の場合の処理script #!/bin/bash START=2017-10-22 END=2017-12-31 CURRENT=$START while true; do echo $CURRENT if [ "$CURRENT" = "$END" ]; then break fi CURRENT=`date -d "$CURRENT 1da…