フィルタ

フィルタとは，入力したデータ(主にテキストデータ)を加工して出力するプログラム一般のこと．

unix には単純な機能を持つフィルタが多い. これらをパイプでつなげると，複雑で大量のデータ処理が簡単にできる．

単機能なフィルタ

まず，単純な機能のフィルタを紹介する．

cat : ファイルの中身を標準出力に出す

cat ファイル名 とするとファイルの中身を標準出力に吐き出す． 複数のファイルを与えることも出来て、cat ファイル名1 ファイル名2 ファイル名3 などと出来る．このときは、順番に中身を標準出力に吐き出す(本来はこのようにして複数のファイルの中身を「連結する」フィルタである)．

ファイル名を与えてないときや，ファイル名として “-” (ハイフン)を与えたときは、標準入力を読込んで出力する．

利用方法としては、

• 複数の結果をまとめる
• オプションを使用して「出力に行番号を与える」
• オプションを使用して「空白行をまとめる」
• オプションを使用して「目に見えない文字を見えるようにする」
• rsh (ネットワークの向こうのコンピュータを操作する命令)などと組み合わせて 「ネットワークを経由してファイルをコピーする」

などがよく知られている．以下、例を見よう．

実行例(1)

1

ls -lg | cat -n | less

とすると，出力結果に行番号を簡単につけられる．

実行例(2)

1

cat file1 file2 > sum-file

とすると，file1 の中身に file2 の中身を続けた結果を sum-file に出力できる(このようにファイルを連結するのが cat の本来の機能)．

実行例(3)

1

ls -lg | rsh hoge 'cat > dummy.txt'

とすると，ネットワーク先のマシン “hoge” 上の “dummy.txt” というファイルに出力結果を書込める(ただし，rsh を “hoge” というマシン上で実行する「許可」設定が必要である)．

tee : 標準入力からもらったデータを「標準出力」と「ファイル」の両方に出力する

上に書いた通り(前回のパイプの実例でも紹介した)、標準入力からのデータを標準出力とファイルの両方にコピーして出力する． なお、通常はファイルは「上書き」されるが、 -a というオプションをつければ「追加出力」になる．

実行例 (1)

1

tee d2.txt < d1.txt | less

“d1.txt” ファイルの中身を “d2.txt” にコピーしつつ、画面で内容を確認出来る． うまく alias と組み合わせての使い途があるかもしれない．

実行例 (2)

1

ls -lg | cat -n | tee dummy.txt | less

とすると，出力結果に行番号をつけたうえで，ファイル “dummy.txt” に結果を書込みつつ，同時に画面で確認できる．

grep 一族 : 与えた「パターン」を含む箇所を検索する

標準入力のデータや指定したファイルの中から、与えた「パターン」を含む行を検索する． 文法としては、 grep パターン ファイル名 とするとそのファイルの中からパターンを探し、 (cat 同様) ファイル名を与えてないときやファイル名として “-” (ハイフン)を与えたときは、標準入力を読込んでその中からパターンを探す．

フィルタとしては，通常は

という使い方になるだろう．

なお、検索パターンについては、 基本正規表現( 正規表現 についてはこのあとすぐ学ぶ) を使って表す.

実行例
例えば，emacs を使っている状態でその pid を知るには，

1

ps axu | grep emacs

とすれば該当行だけが表示されるので簡単にわかる．

さらに，pid だけを出力したければ，

1

ps axu | grep emacs | awk '{print $2}'

などとすればよい.
なお、awk のこの使い方もすぐあとの (おまけ) awk の機能のホンの一部分 で学ぶ.

grep のオプションはたくさんあるが、とりあえず知っておいたほうが良いものだけでも書いておこう．

  実習

上の実行例を参考にして， 「狙ったプラグラムの pid を調べてそれを用いて kill する」 動作を 1行で行うにはどうしたらよいか考え，実際にやってみよう． 具体的には，

emacs を端末内で

1

emacs -nw

として起動してから、emacs の中で C-z として emacs を停止状態へ持ち込んでから、 たった 1行の操作でこの emacs を kill せよ

などということになる．

もちろん，他のシェルや端末でこの emacs の pid を調べて操作するのは反則だし， ジョブ制御による kill %1 や killall コマンドを使うのも無しとして考えよう．

なお、前回学んだ、 先読み評価(コマンド置換) がきっと便利に使えるだろう．

grep 一族の他の方々

grep 一族には(見かけ上)他のプログラムがある． 慣れてきたら使い分けるとなにかと便利なので，頭の片隅にいれておこう．

sort : 「順番に」並べ直す

与えられた行を 「順番に」並べ直す フィルタである． データを処理の第一歩として、非常に頻繁に使うだろう．

tips: 並べ方のルールは、デフォルトでは「辞書式」順序だ．だから、数字を大きさ順で並べようと思うと意図と異なる結果になる．そういう場合は、下の表にあるオプション -n を用いよう．

なお、意外なオプションもあるので、オンラインマニュアルを一回まじめに読んでおくと良い． 参考までに、いくつかのオプションを載せておこう．

実行例 (1)

1

ps axu | sort -k 11 | less

とすると(プロセス名が11番目に表示される場合)プロセスのリストを「プログラムの名前順に」，

1

ps axu | sort -r -k 11 | less

などとすればプロセスのリストを「プログラムの名前の逆順に」みることができる.

実行例 (2)

1

ls -lg | sort -nr -k 4 | less

とすれば，ファイルを「サイズの大きな順に」並べて見られる． HDD の容量が残り少なくて，無駄なファイルがないかな〜 と調べるときなどに有効だろう.

uniq : 重複を除去

隣り合った行が同じならば一行にまとめる フィルタである．
データに対して sort フィルタを通してから uniq フィルタを通すと，全体の重複を除去できるので，こうして使うことも多い.
sort and uniq は sort -u と機能が似ているが細かいところで違う． 一般に sort and uniq の方がオススメだ．
少しだけオプションを紹介しておこう．

実行例 (1)
/usr/bin と /usr/local/bin にあるファイルを重複なしで全部見るには，

1

(ls /usr/bin; ls /usr/local/bin) | sort | uniq | less

とすればよい. なお、ls コマンドの挙動を alias で変更している人は，上の例の中の ls という部分を \ls と置き換えて実行しよう． ちなみに，コマンドに \ をつけて実行するのは，「alias があってもコマンドそのものを呼び出す」という意味である．

このように、sort and uniq のコンボはもうパターンなので覚えてしまおう．

実行例 (2)
逆に, 重複しているファイルをチェックしたければ

1

(ls /usr/bin; ls /usr/local/bin) | sort | uniq -d

とすればよい.
tips: 上の重複の結果は「無し」の場合がほとんどだが、もしもここに重複がある場合は少し注意が必要だ．これは重要なツールが二箇所に重複して存在するということなので…

tr: 「文字」単位での一括変換

入力されたテキストの「文字」の置換，削除，圧縮を行なうフィルタである．

として使う. 基本は「文字」単位での変換であって、「文字列」ではないことに注意しよう．

実行例 (1)

1

ls -lg | tr a-z A-Z

で，ls -lg の結果を，a → A, b → B, c → C … z → Z と変換して出力する. つまり，全て大文字に置換する.

実行例 (2)
そこそこ長いテキストファイル “dummy.txt” に対して，

1

cat dummy.txt | tr -cd '[:print:]'

とすると，印刷できない文字を全て消去して出力する． この場合は、「改行」などが削られるだろう．
なお、オプション -cd と 文字クラス [:print:] についてはマニュアルを見ておこう．

実行例 (3)

1

cat dummy.txt | tr -s '\n'

とすると，入力中の改行の繰り返しを一つにまとめる. つまり，空行が消去できる．

実行例 (4)
逆に処理しやすくするためにすべての項目をバラバラにすることもできる．例えば

1

cal | tr '[:blank:]' '\n'

とすると，cal コマンドの出力がすべて行に分解される．

例えば、1年に ○月31日 は 7回あるはずであるが，上の機能を使って次のように確認できる．試してみよう．

1

cal 2019 | tr '[:blank:]' '\n' | grep -c 31

実行例 (5)
テキストファイルの改行コードは OS 毎に異なるが、これを変換することができる． 例えば、

1

tr -d '\r' < wintext.txt > unixtext.txt

とすると，Windows の改行コードを持つテキストファイル wintext.txt から、Unix の改行コードを持つ unixtext.txt へ変換できる．

注: Windows, Unix, MacOS の3つの OS の改行コードを調べ、それぞれの間での変換を tr や sed を使ってどうやるか考えてみよう．

実行例 (6) 面白い例
例えば

1

cat dummy.txt | tr '[:upper:]' '[:lower:]' | tr '[:space:]' '\n' | tr -s '\n' | tr -d ',.' | sort | uniq -c | sort -nr | awk '{print $2," ", $1}' | less

とすると，入力ファイル “dummy.txt” 中の「単語」が出現回数と共に，出現回数の多い順に表示できる．
これを使うと、Zipf の法則を確認できる(Zipf の法則について調べてみよう)． 余裕があるならば，適当な英文(阪大の英語 web の総長の挨拶文など)を用意してこの法則が成り立つかどうか確認してみよう．

ちなみに、総長の挨拶文を解析すると、頻出単語の top10 は以下のような感じ(単語と出現回数)．

the   32
and   31
of   30
university   15
in   15
osaka   14
to   11
as   11
a   10
that   7

そして、ちなみに、横軸に出現回数の多い方から単語の出現回数を並べたグラフは次のような感じだ(素のグラフと、y軸を対数にしたグラフ)． Zipf の法則が成り立っているかどうかを検証するには、データの大きさが足りないかな．

head, tail : 最初/最後の数行を出力

入力データの最初/最後の 数行を出力するフィルタである．
例えば、随時 記録が追加されていくようなファイルの変化をチェックするには，tail が役に立つので覚えておくと良い．

fold : データを折りたたむ

入力された行を決められた桁数で折り返して行分割して出力する. デフォルトは 80桁.

実行例:
例えば “dummy.txt” というファイルの中身をメールで送ろうと考えたとする. そのメールが 1行あたり 40文字表示される環境でどう見えるかを荒っぽくシミュレートしてみるには，

1

cat dummy.txt | fold -w 40 | less

としてみればよい.

expand, unexpand : タブ ←→ スペース 変換

機能は以下の通り．ごくたまに「あってよかった」と思う…かなあ．

タブをスペースに変換する(expand).
スペースをタブに変換する(unexpand).

pr, enscript : プリンタに出力するのにヨサゲな形式に変換

入力をプリンタに出力するのにヨサゲな形式に変換する.
pr は古めのコマンドで、まああまり美しくない． enscript は、かなり美しく変換できる．ただし、日本語は扱えない．

実行例(1)

1

ps axu | pr | less

としてみると意味が分かるだろう.

実行例(2)
もし enscript コマンドがインストールされていれば，たとえば

1

enscript --pretty-print --color --line-numbers --columns=2 --landscape --fancy-header -o dummy.ps dummy.txt

とすると， “dummy.txt” を横二段組にして行番号をつけて内容を色付けしたものが “dummy.ps” という Postscript 形式のファイルに出力される． 自分で書いたプログラムを印刷するときなどはとても便利なので覚えておこう． また，enscript は Postscript だけでなく，html 形式などにすることもできる．

wc : 数える．

入力データの「大きさ」「単語数」「行数」を出力するフィルタ． これまでにも、何度もコマンドの例として紹介しているが、他のフィルタとの組み合わせて使うと意外に使い勝手が良い．

実行例

1

ps axu | wc

とすると，行数・単語数・バイト数 が出力される． オプションを自分で調べておこう．

nkf, iconv : 文字コードを変換する

nkf は主に日本語の漢字コードを、iconv は一般の文字コードを変換するするフィルタである． 環境によっては nkf はインストールされていないこともあるが、あると時々便利だ．

各 OS のデフォルト設定では unix, windows, mac ともに日本語の漢字コード(+改行コード)が異なるので、こうしたコマンドの存在は知っておいたほうが良いだろう． オプションや使い方等は以下の通り．

実行例
テキスト ‘dummy.txt’ が文字化けして読めない時，端末の表示漢字コードが EUC ならば

1

nkf -e < dummy.txt | lv

か、

1

iconv -t EUCJP < dummy.txt | lv

とすれば読めたりする.

注意: lv は less や more よりも高機能のページャ(ファイルの中身を見せてくれるソフト)だ．

注意: テキストファイルの漢字コードや改行コードは OS によって異なるため、改行コードの変換も必要なことがある． 幸い，nkf には改行コードを変換する機能もついているので、そういう時は使ってみよう．

gzip, gunzip, zcat, bzip2, bunzip2, bzcat, xz, … : ファイルの圧縮・解凍

データを 圧縮・解凍・閲覧 するフィルタ． 多くの種類がある． 一般には、コマンドごとに圧縮形式やファイルフォーマットが異なる．
一般に性能の良いと言われている順に、以下に示そう．

以下、gzip を用いて、おおよその使い方を例で示そう．

実行例(1)

1

gzip dummy.txt

とすると， dummy.txt が圧縮されて dummy.txt.gz になる． ただし，この方法だと dummy.txt は消去される．

実行例(2)

1

gzip -k dummy.txt

というように，オプション -k (=keep) をつけると， dummy.txt は消去されずに圧縮されて dummy.txt.gz という新たなファイルができる．

実行例(3)

1

ps axu | gzip > dummy.gz

とすると，ps axu の結果が圧縮されて dummy.gz という名前のファイルになる. すぐに使わない結果などはこうして最初から圧縮しておくと保管しやすい．

  実習

適当に, 大きなテキストファイルなどを用意して， 圧縮しない場合, gzip で圧縮した場合， (bzip2 が使えるなら) bzip2 で圧縮した場合, (xz が使えるなら) xz で圧縮した場合、 の結果を比較して，ファイルサイズがどれくらい小さくなっているか(圧縮されているか)実際に比較してみよう．

tar : 複数のファイルをまとめて一つに

複数のファイルをまとめて一つのデータに して出力する「アーカイブ機能」をもっているのがこの tar だ(そもそも、Tape ARchive の略である)． もちろん，後で元の複数のファイルに戻せる． ちなみに、unix の多くの圧縮ツールは(アーカイブ機能はこの tar にまかせることにして)自分ではアーカイブ機能を持っていない.

通常は次のいくつかのオプションだけ覚えておけばいいだろう．

実行例(1)
例えば，そこにあるディレクトリ “data” をまるごと1つのファイル result.tar にしたい時は，

1

tar cvf result.tar data

とすればよい． ちなみに tar は圧縮はしないので，圧縮したければ上の gzip や bzip2 をこのまとめた結果に対して使えば良い．
また，こうしてできた result.tar というファイルを解凍したい場合は，

1

tar xvf result.tar

とすればよい．

実行例(2)
tar をフィルタとして使う面白い応用として， 複数のファイルをディレクトリの構造ごと「移動」させる例がある．

1

tar cf - -C ディレクトリA . | tar xpf - -C ディレクトリB

とすると，ディレクトリA の中身をそのままディレクトリ B へコピーできる(-C は change directory オプション). さらにこのパイプの間に rsh など を挟めばネットワークを越えてディレクトリの構造をコピーできる.

(おまけ) awk の機能のホンの一部分 : 入力データを要素ごとに分解して取り扱う

ここではとりあえず，入力行の 項目を好きなように並べ直せる フィルタとして理解しておこう(awk は本来はプログラム可能な高機能フィルタである．あとで学ぶ)．
つまり， スペースや ,(カンマ) で区切られたデータが連なる入力に対して， 区切られたデータを抜き出せる．
データは，左から $1, $2, … という名前で扱える( $0 は特殊で、「全部」という意味になる).

実行例(1)

1

ps axu | awk '{print $2, $11}'

などとやってみれば一瞬で理解できる.

実行例(2)

データを １行あたりの文字数の多い順に並べ直すのに、例えば awk を次のようにして使える．

1

ls -lg | awk '{print length, $0}' | sort -nr | awk '{$1=""; print $0}'

cut : 入力データを要素ごとに分解して取り扱う

区切られたデータが連なる入力に対して，区切られたデータを抜き出す フィルタで、 その意味では awk と似ているが，awk より融通が効かない． 続いているスペースは一つの空白とみなさず、空っぽの要素が間に挟まっているという機械的な処理をしてしまう．

実行例

1

ps axu | cut -f 2,11 -d " "

とすると，「区切り文字 = スペース」として 2番目と11番目の項目を出力してくれるのだが， 上の awk の例と比較すると，「融通が効かない」という意味がわかるだろう．

  実習
上に示した実例を実際に行い，何が起きているのかよく理解せよ.

正規表現 : 「こんな感じのパターンで…」を文字で示す方法

正規表現とは，文字列の集合を表すために考えられたルールの一つである.
人間が文字列処理を行なうとき，指定したい文字列を人間に伝えるのは簡単だが， 機械に対して正確に指定するのが難しい，ということは良くあることだ.

例えば，re で始まって，tion で終わる単語を文書中から探してくれ,という指示をコンピュータにどうしたら伝えられるだろうか？
こうした人間の要望を正確かつ厳密に表現する方法として，正規表現がある． そのオンラインマニュアルを読むくなら、コマンドは以下の通り．

ある程度を、次の表で示しておこう．

なお，GNU ソフトウェアには以下のような拡張も追加されている．

例 (1): re.*tion は「re で始まって，tion で終わる単語」に近い正規表現だ(そのものでない).

例 (2): 例えば，ある web page をファイル d.html として保存し、 このファイルから，html のタグ (< … > というやつ) を除去する作業を考える． この作業を emacs (正規表現が使える)でやるには次のようにすればよい.

emacs でファイルを読み込んでから、

1

M-x replace-regexp

とするとミニバッファに

1

Replace regexp:

と出て，入力を要求される. これは 「置換すべき対象」を正規表現で入力しろ， ということであるので、

1

<[^>]*>

と入力して Return を押す. するとミニバッファにさらに

1

Replace regexp <[^>]*> with:

と出て，入力を要求される. これは 「何に置換するのか」を正規表現で入力しろ， ということであるので，(今回は単に消去したいので)「空」を入力する. つまり，何も書かずに Return を押す．

  実習

用いられる正規表現を理解しながら、上の例の作業を実際に行おう．

プログラマブル フィルタ

単機能フィルタでは少々荷が重い複雑なフィルタ処理を行なうには， そのままでは， シェルスクリプトを作成するか， 通常言語でプログラムを組むなどの行為が必要となる.

しかし，シェルスクリプトは制限が強すぎて柔軟な処理は難しいし， 通常言語でフィルタの内容をプログラムするのは無駄が多い.

そこで，フィルタプログラム自身が複雑なフィルタ処理をプログラムできれば， フィルタの便利な機能を生かしつつ，無駄無く複雑な処理が柔軟にできるというものだ. これが「プログラミング可能な」フィルタの存在意義である.

こうしたプログラミング可能なフィルタプログラムとしては， sed, awk, perl, ruby 等が有名である. 本講義では， sed についてまず簡単に解説する.

sed : １行ずつ、正規表現に基づいて文字列を置換する

sed は 1 行ずつ 高速 かつ 正規表現の使える文字列置換ツール (フィルタ)である． フィルタとしては

というように用いる. ここでいう「スクリプト」とは，sed の動作を指定するために我々がこれから作るプログラムのことである.
オプション -n についてはすぐあとで学ぶ．

動作としては、sed は入力を一行ずつ処理していく. つまり，処理単位は「行」である. そして，sed のスクリプトは基本的に，

1
2
3
4
5
6

  処理対象となる行の指定 {
  コマンド
  コマンド
  コマンド
  コマンド
  }

という構造をしている.
なお、コマンドが一つしかない場合は { } は省略してもよい． さらに、対象行の指定が不要である(つまり，全ての入力行を対象とする)場合は，

1
2
3
4

  コマンド
  コマンド
  コマンド
  コマンド

とコマンドだけを書き連ねてもよい.

そして，このスクリプトに従って、sed は基本的に

• 処理対象となる行には… 全てのコマンドを適用してから，
• 対象外の行には…なにもしないでそのままにして，

どちらにせよ結果を出力する． ただし，起動時にオプション -n をつけた場合，「出力を命令(p フラグか p コマンド)されたとき以外は」出力しなくなる． よって、 「処理された結果のみを見たい 場合は，-n オプションと，p フラグか p コマンドを使う」 と覚えておけば大丈夫だろう.

そして、処理対象となる行を指定する方法は,

の 3通り. ただし，10, /win/ のように二つの指定を ,(カンマ) で繋げて書いた場合には，10行目から win を含む行まで という範囲指定になる.

そして、sed のスクリプト中に書き込むコマンドは以下の通り．

実行例 (1)

1

ps axu | sed -e 's/daemon/WhoAreYou?/g' | less

とすると… 何が起こるか？

実行例 (2)
さらに，

1

ps axu | sed -n -e 's/daemon/WhoAreYou?/gp' | less

とすると，上より分かりやすい．

実行例 (3)
たくさんあるファイルの名前を，一斉に機械的に変更したい． 例えば，*.text というファイルをすべて *.txt というファイル名に変更したいとする． すると

1

\ls *.text | sed -n -e 's/\(.*\).text$/mv & \1.txt/gp'

とすると，「その変更操作のための下準備」ができる．
具体的には，例えば a.text, b.text, c.text, … というファイルがある 状態でこのコマンドを打つと，

1
2
3

  mv a.text a.txt
  mv b.text b.txt
  mv c.text c.txt

という結果が得られる( ここでは念の為に ls の頭に \ をつけている)．

さて，あとはこの「結果」をシェルスクリプトにしてもよいし，シェルそのものに渡しても良い. 例えば，

1

\ls *.text | sed -n -e 's/\(.*\).text$/mv & \1.txt/gp' | sh

などとすると，一斉にファイル名を希望通りに変更できる．

  実習 実習: 実習用にディレクトリを用意し，その中に実習用の ファイルを幾つか作って，上の例を試してみよう．

レポート

以下の課題について能う限り賢明な調査と考察を行い，
AppliedMath7-Report-04
という題名をつけて e-mail にて教官宛にレポートとして提出せよ. なお，レポートを e-mail の代わりに TeX で作成した書面にて提出してもよい.

Exercises: 課題

1. Tsushima か Tsusima Tushima か Tusima か，という文字列を含む行をデータの中から探すにはどうしたらよいか述べよ.
   
2. あるファイルの中身の行頭全てに “ > “ という一文字を付け加えたい. どうすればよいか.
   
3. あるファイル中で，年月日が全て 2019.05.18 というような形式で記述されている. これを全て 18/May/2019 という形式に修正したいが，どうすればよいか(もちろん 1月は Jan. に，2月は Feb. に…と全部直すのである).
   
4. (余裕のある者向け) 普通の文章を，「関西弁風」に変換する方法を考えよ．
   
5. (余裕のある者向け) データベースを用いる通常の方法をやめ，大規模な業務用システムをフィルタを使う単純な仕組みに直してしまっている例 システム統合にSOA？ RDBMS？ bashで十分！ がある． 読んでみて，自分なりに考察せよ．