授業資料/05

フィルタプログラム †

フィルタとは，入力したテキストを加工して出力するプログラム一般のことだ．
unix には単純な機能を持つフィルタが多い. これらをパイプでつなげることで，複雑かつ大量のテキスト加工が，簡単にかつ一度にできるようになっている.

コンピュータ上の情報の多くがテキストという形で保存されているため, 複雑で大量テキスト加工が簡単なコマンドの組み合わせで実現できてとても便利だ．

フィルタを使うと複雑なことがとても簡単に！

↑

単機能なフィルタ †

まず，単純な機能，事実上一つの機能しか持たないフィルタ(プログラム)を紹介しよう.
ごく簡単な処理はこれらのフィルタを組み合わせることで大体できるはずだ. これら単機能なフィルタは長い間使い込まれたプログラムが多く，その分鍛え抜かれているといえる. 実際，メモリや cpu への負担は小さく，頑健で素早く動作し，バグも少ない. 安心してガンガン使おう.

↑

cat †

本来はファイルを連結して出力するプログラムであるが，実際は「入力をほぼそのまま出力する」フィルタとして使われることが多い．
具体的には，ファイル名を与えないか，ファイル名として "-" とすると標準入力を読込んで，そのまま出力するので，フィルタとして使える.

数学で言えば「恒等作用素」である(だから重要だ!).

応用としては，オプションを使用して「出力に行番号を与える」，「空白行をまとめる」「目に見えない文字を見えるようにする」などの他， rsh (ネットワークの向こうのコンピュータを操作する命令)と組み合わせて「ネットワークを経由してファイルをコピーする」などがある.

実行例(1)

ls -lg | cat -n | less

とすると，出力結果に行番号を簡単につけられる．

実行例(2)

ls -lg | rsh host 'cat > dummy.txt'

とすると，ネットワーク先のマシン "host" 上の "dummy.txt" というファイルに出力結果を書込める(もちろん，"host" の操作許可が必要)．

↑

tee †

出力結果を「標準出力」と「ファイル」の両方にコピー するフィルタだ．
より詳しくは前回の授業の tee 解説部分を見よう.

実行例

ls -lg | cat -n | tee dummy.txt | less

とすると，出力結果に行番号をつけたうえで，ファイル "dummy.txt" に結果を書込みつつ，同時に画面で確認できる．

↑

grep 一族 †

与えた「パターン」を含む行を検索する フィルタである．
フィルタとしては，

という使い方になる．
検索パターンは「基本正規表現」を使って表す(このすぐ後で学ぶ. 正規表現).

ファイル名を与えるかどうかで…: オプションにファイル名を与えると標準入力の代わりにそのファイル中から検索する.
また，ファイル名を与えないか，ファイル名として "-" とすると標準入力を読込んで，その中から検索して出力するので，フィルタとして使える.
他のフィルタもファイル名についておおよそ同じ動作をする．

実行例
例えば，emacs を使っている状態でその pid を知るには，

ps axu | grep emacs

とすれば目で一生懸命探さずともすぐわかる．
この時，この検索行為そのものが検索結果に出るのがイヤだという場合は，

ps axu | grep '[0-9] emacs'

や

ps axu | awk '{print $2,$11}' | grep emacs

などとすればよい. [0-9] の意味は正規表現で，awk のこの使い方はすぐあとで学ぶ. (おまけ) awk の機能のホンの一部分.

上の実行例を参考にして，「狙ったプラグラムの pid を調べてそれを用いて kill する」動作を 1行で行うにはどうしたらよいか考え，実際にやってみよう．
具体的には，

emacs を端末内で
emacs -nw
として起動．
emacs の中で c-z として(ctrl キーを押しながら z キーを押す) emacs を停止状態へ．
ここから，たった 1行でこの emacs を kill せよ！もちろん，他のシェルや端末でこの emacs の pid を調べるのは反則だし，シェル組み込みの機能 kill %1 を使うのも反則だ！
前回学んだ便利！先読み評価を思い出そう．

注意: コンピュータ上で，何かを目で探すのは，

間違えがち
疲れる
遅い

ため，"eye ball search" と呼ばれ，避けるべき 行為とされている．このためにも，grep をバンバン使おう．

↑

grep 一族の他の方々 †

grep 一族には他の方々もいる．慣れてきたら使い分けるとなにかと便利なので，頭の片隅にいれておこう．

氏名	性格
egrep	パターンに「拡張正規表現」が使える(このすぐ後で学ぶ. 正規表現).
fgrep	パターンを「単なる文字列」として扱う. つまり，正規表現「無し」バージョン．しかし，fgrep は必ずしも高速ではない(fgrep の f は fast ではなくて fixed- の頭文字である)．
zgrep	圧縮したファイルを解凍してから，その中身を検索する. ただし，この方の能力は環境によっていろいろだ…

↑

sort †

与えられた行を 「順番に」並べ直す フィルタ．
sort は比較的よく使うフィルタなので，そのオプションをマニュアルで調べ，覚えておくと良いだろう.

実行例 (1)

ps axu | sort -k 11 | less

とするとプロセスのリストを「プログラムの名前順に」，

ps -axu | sort -r -k 11 | less

とやればプロセスのリストを「プログラムの名前の逆順に」みることができる.

実行例 (2)

ls -lg | sort -nr -k 4 | less

とすれば，ファイルを「サイズの大きな順に」並べて見られる． HDD の容量が残り少なくて，無駄なファイルがないかな～と調べるときなどに有効だろう.

sort のマニュアルを読んで，どういうことが出来そうか把握しておこう．

↑

uniq †

隣り合った行が同じならば一行にまとめる フィルタである．

データに対して sort フィルタを通してから uniq フィルタを通すと，全体の重複を除去できるので，こうして使うことも多い.

ただし，以下のオプションを使うと少し違うことが出来る．覚えておくとよいだろう．

-c … 同じ行をまとめるだけでなく，「何回続いたか」も出力．
-d … 「重複した行のみ」出力．
-u … 「重複しなかった行のみ」出力．

実行例 (1)
/usr/bin と /usr/local/bin にあるファイルを重複なしで全部見るには，

(ls /usr/bin; ls /usr/local/bin) | sort | uniq | less

とすればよい.
sort and uniq のコンボはもうパターンなので覚えてしまおう．

実行例 (2)
逆に, 重複しているファイルをチェックしたければ

(ls /usr/bin; ls /usr/local/bin) | sort | uniq -d

とすればよい(このケースでは結果はゼロだろうけれども)．

↑

tr †

入力されたテキストの「文字」の置換，削除，圧縮を行なうフィルタ.

として使う. 基本は「文字」単位での変換(「文字列」ではない)．

実行例 (1)

ls -lg | tr a-z A-Z

で，ls -lg の結果を，a → A, b → B, c → C … z → Z と変換して出力する. つまり，全て大文字に置換する.

実行例 (2)
そこそこ長いテキストファイル "dummy.txt" に対して，

cat dummy.txt | tr -cd '[:print:]'

とすると，印刷できない文字を全て消去して出力する．この場合は例えば「改行」などが削られるはず．
オプション -cd と 文字クラス [:print:] についてはマニュアルを見ておこう．

実行例 (3)

cat dummy.txt | tr -s '\n'

とすると，入力中の改行の繰り返しを一つにまとめる. つまり，空行が消去される．

実行例 (4) 面白い例

例えば

cat dummy.txt | tr '[:space:]' '\n' | tr -s '\n' | sort | uniq -c | sort -nr | less

とすると，入力中の「単語」が出現回数と共に，出現回数の多い順に表示される．
Zipf の法則 について調べてみよ．余裕があるならば，適当な英文を用意してこの法則が成り立つかどうか確認せよ．

↑

head, tail †

入力の最初/最後の数行を出力する.
動的に記録が追加されていくようなファイルの変化をチェックするには，tail が結構役に立つ．

↑

fold †

入力された行を決められた桁数で折り返して行分割して出力する. デフォルトは 80桁.

実行例
例えば "dummy.txt" というファイルの中身をメールで送ろうと考えたとする. そのメールが 1行あたり 25文字表示される携帯電話でどう見えるかを荒っぽくシミュレートしてみるには，

cat dummy.txt | fold -w 25 | less

としてみればよい.

↑

expand, unexpand †

タブをスペースに変換する(expand).
スペースをタブに変換する(unexpand).

↑

pr †

入力をプリンタに出力するのにヨサゲな形式に変換する.

実行例

ps axu | pr | less

としてみると意味が分かるだろう.

↑

wc †

入力データの「大きさ」「単語数」「行数」を出力する.
他のフィルタとの組み合わせて使うと意外に使い勝手が良い．

実行例

ps axu | wc

とすると，行数・単語数・バイト数が出力される．

↑

nkf †

日本語入力の漢字コードを変換するフィルタ.
漢字コードについての簡単な解説は漢字コードについてを参照せよ. おおざっぱな使い方は
nkf -e … 入力を euc に変換して出力.
nkf -j … 入力を jis に変換して出力.
nkf -s … 入力を shift-jis に変換して出力.
nkf -w … 入力を UTF8 に変換して出力.

実行例
テキスト 'dummy.txt' が文字化けして読めない時，

nkf -e < dummy.txt | less

とすれば読めたりする.

ただし…
テキストファイルの扱いは，漢字コードだけでなく，改行コードも OS によって異なる．
そのため，OS を越えてテキストファイルをやり取りする際には改行コードも変換する必要がある.
幸い，nkf には改行コードを変換する機能もついている. 詳しくはマニュアルを読むこと.

↑

gzip, gunzip, zcat †

データを 圧縮・解凍・閲覧 する．

gzip : 入力データを圧縮する. //Lempel-Ziv 77 法を用いて. compress よりも効率がよい.
gunzip : 圧縮済みデータを解凍する(元に戻す).
zcat : 圧縮済みデータの中身を閲覧する.

gzip によって圧縮されたファイルには .gz や .z という拡張子を付加するのが慣例である.

実行例

ps axu | gzip > dummy.txt.gz

とすると，ps axu の結果が圧縮されて dummy.txt.gz という名前のファイルになる.
ファイルサイズがどれくらい小さくなっているか(圧縮されているか), 圧縮しない場合と比較して実際に見てみよう．

↑

tar †

複数のファイルをまとめて一つのデータに して出力する．ただし，後で元の複数のファイルに戻せる．
通常の使い方はマニュアルを見よう

tar をフィルタとして使う面白い応用として，複数のファイルをディレクトリの構造ごと「移動」させる例がある．

実行例

tar cf - -C ディレクトリA . | tar xpf - -C ディレクトリB

とすると，ディレクトリA の中身をそのままディレクトリ B へコピーできる. パイプの間に rsh などを挟めばネットワークを越えてディレクトリの構造をコピーできる.

↑

(おまけ) awk の機能のホンの一部分 †

ここではとりあえず，入力行の 項目を好きなように並べ直せる フィルタとして理解しておこう．
つまり，スペースや ,(カンマ) で区切られたデータが連なる入力に対して，区切られたデータを抜き出せる．
データは，左から $1, $2, ... という名前で扱える.

実行例

ps axu | awk '{print $2, $11}'

などとやってみれば一瞬で理解できるはず.

awk は本来はプログラム可能な高機能フィルタである．あとで学ぶ．

↑

cut †

区切られたデータが連なる入力に対して，区切られたデータを抜き出す フィルタ.
上の awk と似ているが，awk より融通が効かない．

実行例

ps axu | cut -f 2,11 -d " "

とすると，「区切り文字 = スペース」として 2番目と11番目の項目を出力してくれるのだが，上の awk の例と比較すると，「融通が効かない」という意味がわかるだろう．

実習

上に示した実例を実際に行い，何が起きているのかよく理解せよ.

↑

正規表現 †

正規表現とは，文字列の集合を表すために考えられたルールの一つである.
人間が文字列処理を行なうとき，指定したい文字列を人間に伝えるのは簡単だが，機械に対して正確に指定するのが難しい，ということは良くあることだ.

例えば，re で始まって，tion で終わる単語を文書中から探してくれ, という指示をコンピュータにどうしたら伝えられるだろうか？

こうした人間の要望を正確かつ厳密に表現する方法として，正規表現がある．

正規表現そのもののマニュアルは，

Linux の場合 … man 7 regex
FreeBSD の場合 … man re_format

とすれば読める．

■ 正規表現の式とその意味 ■

基本	拡張	意味
通常文字		メタキャラクタでない文字. その文字自身を表す. メタキャラクタとは，基本正規表現では \ ^ $ . [ ] * の7文字を，拡張正規表現では \ ^ $ . [ ] * + ? { } ( ) ¦ の14文字をいう.
\m		メタキャラクタ m の意味を打消し，通常文字として扱う(エスケープという).
^		行頭を表す.
$		行末を表す.
. (ピリオド)		任意の一文字を表す.
[ ]		[ ] で囲まれた文字列中のどれか一文字を表す. [ ] 中では特別に "-" のみがメタキャラクタとなり，他のメタキャラクタは通常文字として扱われる. "-" を通常キャラクタとして扱うには， "---" (ハイフンを三つ繋げる) と書けばよい.
[ c1 - c2 ]		文字 c1 から c2 までの範囲の文字中のどれか一文字を表す.
[^ ]		[^ ] で囲まれた文字列中に「含まれない」一文字を表す.
*		直前の正規表現の 0 回以上の繰り返しを表す.
	+	直前の正規表現の 1 回以上の繰り返しを表す.
	?	直前の正規表現が 0 回か 1回現れることを表す.
\{ m \}	{ m }	直前の正規表現の m 回の繰り返しを表す.
\{ m, \}	{ m, }	直前の正規表現の m 回以上の繰り返しを表す.
\{m, n\}	{m, n}	直前の正規表現の m 回以上 n 回以下の繰り返しを表す.
	( )	囲まれた部分をグループ化する.
\N		N 番目のグループ化された正規表現が合致した結果(N= 1,2,..9).
	¦	直前と直後の正規表現の「どちらか」を表す

なお，GNU ソフトウェアには以下のような拡張も追加されている．

GNU拡張	意味
\<	単語の先頭を表す.
\>	単語の末尾を表す.
\b	単語の先頭か末尾を表す.
\B	単語の(先頭か末尾)以外を表す.

例(1)
例えば，

re.*tion

は「re で始まって，tion で終わる単語」に近い正規表現だ．
そのものでないのはなぜか？よく考えてみよう．

例(2) emacs で正規表現を用いてみる

例えば，ある web page をファイル d.html として保存する.
そして，このファイルから，html のタグ (< ... > というやつ) を除去する作業を考える．
この作業は，例えば emacs でやるには次のようにすればよい.

emacs でファイルを読み込む.
'' M-x replace-regexp '' とする.
ミニバッファに '' Replace regexp: '' と出て，入力を要求される.
これは「置換すべき対象」を正規表現で入力しろ，ということである.

そこで， '' <[^>]*> '' と入力して Return を押す.
ミニバッファに '' Replace regexp <[^>]*> with: '' と出て，入力を要求される.
これは「何に置換するのか」を正規表現で入力しろ，ということである.

そこで，今回は単に消去したいので，「空」を入力する(つまり，何も書かずに Return を押す).
すると?

実習

上の例の作業を実際に行おう．ただし，用いられる正規表現を理解しながら．

↑

プログラマブルフィルタ †

単機能フィルタでは少々荷が重い複雑なフィルタ処理を行なうには，そのままでは，シェルスクリプトを作成するか，通常言語でプログラムを組むなどの行為が必要となる.
しかし，シェルスクリプトは制限が強すぎて柔軟な処理は難しいし，通常言語でフィルタの内容をプログラムするのは無駄が多い.
そこで，フィルタプログラム自身が複雑なフィルタ処理をプログラムできれば，フィルタの便利な機能を生かしつつ，無駄無く複雑な処理が柔軟にできるというものだ. これが「プログラミング可能な」フィルタの存在意義である.

こうしたプログラミング可能なフィルタプログラムとしては， sed, awk, perl, ruby 等が有名である. 本講義では， sed についてまず簡単に解説する.

↑

sed †

sed は， 1 行ずつ 高速かつ正規表現の使える文字列置換ツール といってよい.

↑

sed の使い方(文法) †

フィルタとしては

というように用いる. ここでいう「スクリプト」とは，sed の動作を指定するために(我々がこれから作る)プログラムのことである.
オプション -n についてはすぐあとで学ぶ．

↑

sed の動作，スクリプトの基本 †

sed は入力を一行ずつ処理していく. つまり，処理単位は「行」である. そして， sed のスクリプトは基本的に，

 処理対象となる行の指定 {
 コマンド
 コマンド
 コマンド
 コマンド
 }

という構造をしている.
コマンドが一つしかない場合は { } は不要だ.
さらに対象行の指定が不要である(つまり，全ての入力行を対象とする)場合は，

 コマンド
 コマンド
 コマンド
 コマンド

とコマンドだけを書き連ねてもよい.

そして，sed の動作は

処理対象となる行には… 全てのコマンドを適用してから，
対象外の行には…なにもしないでそのままにして，

どちらにせよ出力するというのが基本動作である.

ただし，起動時にオプション -n を使用した場合は，「出力を命令されたとき以外は」出力しなくなる．

まあ，とりあえず
「処理された行のみ見たい場合は，-n オプションと，p フラグか p コマンドを使う」
と覚えておけば大丈夫だろう.

↑

sed スクリプトでの処理対象行の指定方法 †

処理対象となる行を指定する方法は,

行番号 … 10 と書いたら 10行目のこと.
/正規表現/ … その正規表現を「含む」行(複数ありうる).
$ … 最終行.

の 3通り.
ただし， 10, /win/ のように二つの指定を ,(カンマ) で繋げて書いた場合には， 10行目から win を含む行まで という範囲指定になる.

↑

sed スクリプトでのコマンド †

sed のスクリプトコマンドは以下の通り．

コマンド	意味
s/置換元パターン/置換新パターン/フラグ	元パターン(正規表現可) に合致する文字列を新パターンで置き換える. 置換新パターン中には，特別に & というメタキャラクタも使える. これは置換元パターンに合致した文字列そのもの，を表す. フラグは以下の通り． g … 行内の該当する文字列を「全て」置換. N … 行内の該当する文字列の「N 番目」を置換. p … 置換が行なわれたならば「表示」.
p	その行を必ず表示する.
d	その行を削除する.
q	sed そのものを終了する.

実行例 (1)

ps axu | sed -e 's/daemon/WhoAreYou?/g' | less

とすると… 何が起こっているか？

実行例 (2)

さらに，

ps axu | sed -n -e 's/daemon/WhoAreYou?/gp' | less

とすると，上より分かりやすい．

実行例 (3)
たくさんあるファイルの名前を，一斉に機械的に変更したい．例えば，*.text というファイルをすべて *.txt というファイル名に変更したいとする．すると

\ls *.text | sed -n -e 's/$.*$.text$/mv & \1.txt/gp'

とすると，「その変更操作のための下準備」ができる．
具体的には，例えば a.text, b.text, c.text, ... というファイルがある状態でこのコマンドを打つと，

 mv a.text a.txt
 mv b.text b.txt
 mv c.text c.txt

という結果が得られる.

最初の ls の頭に \ が付いている理由は，こうすると alias を無視して「素の」ls が起動されるからである．これにより，(自分で設定した) alias によって入力が期待と違うという状況を避けることができる．

さて，あとはこの「結果」をシェルスクリプトにしてもよいし，シェルそのものに渡しても良い.
例えば，

\ls *.text | sed -n -e 's/$.*$.text$/mv & \1.txt/gp' | sh

などとすると，一斉にファイル名を希望通りに変更できる．

実習: 実習用にディレクトリを用意し，その中に実習用のファイルを幾つか作って，上の例を試してみよう．

↑

レポート †

以下の課題について能う限り賢明な調査と考察を行い，
AppliedMath7-Report-05
という題名をつけて e-mail にて教官宛にレポートとして提出せよ. なお，レポートを e-mail の代わりに TeX で作成した書面にて提出してもよい.

↑

課題 †

Tsushima か Tsusima Tushima か Tusima か，という文字列を含む行をデータの中から探すにはどうしたらよいか述べよ.
あるファイルの中身の行頭全てに " > " という一文字を付け加えたい. どうすればよいか.
あるファイル中で，年月日が全て '' 2011.05.19 '' というような形式で記述されている.
これを全て '' 19/May/2011 '' という形式に修正したいが，どうすればよいか(もちろん 1月は Jan. に，2月は Feb. に…と全部直すのである).
(余裕のある者向け) 普通の文章を，「関西弁風」に変換する方法を考えよ．

↑

about Icons, ClipArts †

For details, see this.

添付ファイル:

sed-syntax.png 58件 [詳細]

filter.png 60件 [詳細]

tr-syntax.png 63件 [詳細]

grep-syntax.png 64件 [詳細]

授業資料/05

フィルタプログラム †

単機能なフィルタ †

cat †

tee †

grep 一族 †

grep 一族の他の方々 †

sort †

uniq †

tr †

head, tail †

fold †

expand, unexpand †

pr †

wc †

nkf †

gzip, gunzip, zcat †

tar †

(おまけ) awk の機能のホンの一部分 †

cut †

正規表現 †

プログラマブル フィルタ †

sed †

sed の使い方(文法) †

sed の動作，スクリプトの基本 †

sed スクリプトでの処理対象行の指定方法 †

sed スクリプトでのコマンド †

レポート †

課題 †

about Icons, ClipArts †

Menu

プログラマブルフィルタ †