Amazon Kinesis Client Library (KCL)を使用したログファイル収集基盤構成を構築する必要があり、調査を行った時の勉強メモ。 以下構築要件 apacheのaccess_logを集約サーバへ収集する 集約サーバでAmazon Kinesis Client Library (KCL) ライブラリを使用し…

aws cloudwatchで各使用状況を確認出来るが、各コストに関して詳細に調査する必要があり、調査を行った時の勉強メモ。 請求ダッシュボード -> Cost Explorer -> サービス別の月別使用量ビュー リンクアカウント別の月別使用量ビュー 日別使用量ビュー cost r…

タイトル通り実装する要件があり、調査・設定行った時の勉強メモ。 fluentdを使用したログ集約環境で、送信データの特定フィールドの値をごにょごにょ加工したい（次工程に渡す）っていう要件があります。 調査の結果、fluentdのfilter_record_transformerプ…

Lambdaをpython3で書く必要があり、まずは環境構築を行った時の勉強メモ。 構築手順 python3 install pip3 install reqest package作成 boto3 package作成 Token取得 ※取得したTokenが正常か確認 ・python3 install $ sudo yum install python36 python36-vi…

Kinesisはライブラリとして使用する事が多い為、実際の挙動を把握せず使ってるので調査した時の勉強メモ。 実際の挙動を把握する事で障害対応等で効率的に行動出来るようにする。 ■ストリーム作成 aws kinesis create-stream --stream-name <ストリーム名> -…

表記の通りCloudWatchに監視項目を追加する必要が発生したので調査した時の勉強メモ。 CustomMetrix追加手順 aws configureがインストールされてない環境での手順 cloudwatchのsrcファイル(今回は「CloudWatch-1.0.20.0」)をインストール カスタムメトリクス…