【nginx/fluentd/s3/athena】fluentdでs3にlogを出してathenaで分析できるようにする その3
auto scale関係で、サーバーのログがすぐ消えてしまう環境で、ログをどこかに置いておきたい場合がある。 今回は、nginxのaccess_logを、fluentdでS3にアップロードし aws athenaで分析できるようにする
【目次】
- ec2にfluentdをセットアップ
- ecからs3にファイルアップロード
- athenaで分析する <- いまここ
athenaの設定
基本GUIをクリックするだけでできる
データベースの作成とS3のデータの場所を指定
データの形式を指定
今回はJSON形式
データベースの設計・カラム決め
bulkで
パーティション設定
今回はせず、作成
あとは、適当にクエリを投げると返ってくる
雑感
テーブル構造を決めないといけなかったりして、やらなきゃいけないこと多くて、GBQと比較するとちょっとうーむ感が。。。