ログの加工

同じ種類のログ（Webサーバのアクセスログ、APサーバのアクセスログ等）を まとめて加工するなんてことはよくあることです。

そんな時に使うコマンドのご紹介です。 ※以下を駆使した後必ず確認は必要ですからね！！　しないとまた1からです！！

cat fileA fileB >> fileC

いわずもがな、複数のファイルを結合するときに使います。 結合する前には、どのファイルから出力されたのかがわかる目印を先頭を置換してつけてから結合するといいですね。

grep <keyword> ./file* > ./keyword_file
grep -v <keyword> ./file* > ./non_keyword_file

必要なログ文字列だけ引っこ抜くときに使います。 複数ファイルのgrepの結果は先頭にファイル名が出てくるので、後で置換してしまえばどのファイルから出力されたかがわかりやすくできます。

cut -f 1-5 -d, fileA > fileB

区切り文字の種類は多く使えないものの、お手軽に必要な項目を出すには重宝します。

sed -e 's/AAAAA/ o /g fileA > fileB

あまり使われないようですが、よく使っています。viなんかでも使えるので、慣れてしまっているのもあります。 社会人2年目の頃に「viで使っている子初めて見た」というようなコメントもらったこともあります。。