:>/dev/null

ラガードエンジニアの不撓不屈の精神/unlearning/go beyond

kinesis

Amazon Kinesis Client Library (KCL)を使用したログ収集基盤構成

Amazon Kinesis Client Library (KCL)を使用したログファイル収集基盤構成を構築する必要があり、調査を行った時の勉強メモ。 以下構築要件 apacheのaccess_logを集約サーバへ収集する 集約サーバでAmazon Kinesis Client Library (KCL) ライブラリを使用し…

aws cuiを使用してKinesis streamデータ登録・確認

Kinesisはライブラリとして使用する事が多い為、実際の挙動を把握せず使ってるので調査した時の勉強メモ。 実際の挙動を把握する事で障害対応等で効率的に行動出来るようにする。 ■ストリーム作成 aws kinesis create-stream --stream-name <ストリーム名> -…

aws環境でfluentd経由を用いたログ基盤構築

aws環境でログ基盤を構築する必要があり、周辺関連の知識がたりなさすぎたので調査した時の勉強メモ。 lamda関数 処理フロー クラアント(td-agent)→Kinesis firehose→lamdba→s3 # # lamdba # import boto3 import json import base64 import time import sys…