この回の授業の到達目標

1. コマンドには「入力」「通常の出力」「エラー出力」があることを説明できる．
2. コマンドの出力をファイルに保存できる．
   例: command > file
3. 既存ファイルを壊さずに追記できる．
   例: command >> file
4. ファイルをコマンドの入力として渡せる．
   例: command < file
5. 2つ以上のコマンドをパイプでつなげる．
   例: command1 | command2
6. tee を使って，画面表示とファイル保存を同時にできる．
   
7. shell の先読み評価を理解できる．

基本編

標準入出力, リダイレクション，パイプ

  短い単純なプログラムを組み合わせて複雑な動作を実現する

unix の重要なポリシーの一つ．
短い単純なプログラムのほうが作りやすく，性能もあげやすく，かつ，バグも少なくて，良いことずくめだという考え．

上に述べたのは Unix の重要なポリシーの一つで， そのための仕組みの一つがこれから説明する標準入出力とその制御であるリダイレクション，パイプラインだ．

まず少し基本的な話をすると，unix では通常のプログラムは 「標準入力」「標準出力」「標準エラー出力」という特別な入出力先を持っていて，通常は下記のような関係性と使われ方をしている．

そしてこの「標準入出力」が繋がる相手をユーザーがプログラムを起動するとき毎に自由に制御することができ， その方法が「リダイレクション」や「パイプライン」なのである．

上図のように，プログラムの入出力先を''「プログラムの実行時にユーザが勝手に変えられる」''のである． 上で述べたポリシーにより ''「unix には単機能プログラムが たくさんある」'' ため，この機能と組み合わせると

まるでプログラミングをしたかのような，かなり自由なことがプログラミング不要で簡単に実現できる という「おいしい」状況が unix に出現する． これは本当に便利なので，ぜひ習得しよう.

標準入出力とは何か

unix ではプログラムはチャネル，もしくは デスクリプタ(ファイル記述子)とよばれる出入り口ファイルを用いてデータの入出力を行なう. 機器や環境に依存しない汎用入出力を可能とする目的で，unix ではこのうちの最初の 3つ(0 〜 2番)のデスクリプタを特別なものとして決めている. これらが標準入出力とよばれるものであり，次のような性質を持っている.

これら標準入出力によるデータの入出力の相手はプログラムを起動したシェルが決める約束になっている.

注: 標準出力と標準エラー出力は別の流れである． そのため，command > file としても，エラーメッセージは file に入らず画面に出ることがある．

リダイレクション

  標準入出力先を「コマンド投入時に」変更できる

これを上手に使えば，同じプログラムの出力をファイルへ出力したり，ディスプレイへ出力したり， 出力させなかったりと変更することを「プログラム側で全く考慮する事なく」 行なうことができる.

この「標準入出力先を変更すること」,すなわち標準入出力の制御を，(I/O)リダイレクションとよぶ.

そこで，以下に「一つのプログラムに対する」具体的なリダイレクションの方法を示そう.

注意: 二つのプログラムの入出力を直接繋げてしまう「同時リダイレクション」は特別に「パイプライン」と呼ばれる. 詳しくは後述する.

リダイレクションのやり方

標準入力を hoge ファイルに変更するには

標準出力を変更するには

  注意 : 上にあるように，リダイレクション コマンド > file では，既に存在する file の中身を消して書き込みかねない． 大事なファイル名を指定すると内容が失われるかもしれないので注意すること． 練習では必ず work などの専用ディレクトリを作って，その中で作業すること．

リダイレクションの実例

例えば，ls -lga の結果をファイルに保存してゆっくり調べたいとしよう. こういうときは

1ls -lga > sample-file

とすれば， ''sample-file'' という名前のファイルに ls -lga の結果が収められる.

そして、例えば less コマンドを使って less sample-file とすると

 1合計 108
 2drwxr-x--- 17 osboxes 4096  4月 23 18:11 .
 3drwxr-xr-x  4 root    4096  2月 26 15:12 ..
 4-rw-------  1 osboxes  395  4月 17 20:49 .bash_history
 5-rw-r--r--  1 osboxes  220  2月 26 15:12 .bash_logout
 6-rw-r--r--  1 osboxes 3771  2月 26 15:12 .bashrc
 7drwx------ 11 osboxes 4096  4月 14 18:37 .cache
 8drwx------ 15 osboxes 4096  4月 17 20:49 .config
 9drwx------  3 osboxes 4096  4月 17 20:30 .emacs.d
10  …略…

というように，中身をいつでも繰り返しゆっくり見ることができる.

さらに，ここにあるファイルをサイズ順にリストアップしてみたいな〜 と思ったとしよう. すると，sort コマンド(中身を並べる)を使って， ''sample-file'' の中身の，''この場合は'' 4番目の要素を大きい順に並べればよい.

  ls -lga コマンドの結果の何番目にファイルサイズが表示されるかは環境に依存するので，自分で数えてから実行しよう．上の例では4番目に表示されている．

このケースでは，入力と出力の両方をリダイレクションすれば便利だ.

だから例えば以下のようにすればよい.

1sort -k 4 -nr < sample-file > sample-file2

この例では、sort コマンドの入力先を sample-file に，出力先を sample-file2 にリダイレクトしている． こうして、 ''sample-file2'' に望みの結果が入る．

  混乱しないように、sort < ファイル名 と sort ファイル名 の違いなどを示しておこう．

  実習

• 上に示した実例と同じ作業をやってみる.
• さらに，同様の方法で， 二つのディレクトリの中でサイズの大きな方から順に5つのファイルをリストアップするにはどうしたらよいか考えよ. そして実際に試してみよ.

覚えておくと便利なリダイレクト先 /dev/null
ファイルとしては空っぽの "ブラックホール" と思えば良い．

上の表を見ても分かるように，リダイレクト先には通常はファイルを指定する. この時，unix に存在する特別なファイル ''/dev/null'' が非常に便利に使えるので覚えておこう. このファイルは「ブラックホールファイル」とでも言うべき次の性質を持っている.

• 標準入力先に指定すると，「何も出てこない」
• 標準出力先に指定すると，「全て飲み込んで，何も変化しない」
  

よって，とっておく必要のない出力を捨てることができる(しかも素早く). やり方は下の通り．

これで標準出力と標準エラー出力の両方がブラックホールへと消えていく.

ジョブをバックグラウンドで実行させていて，その出力が邪魔な時や， コマンドを nohup で実行させる場合， プログラムの計算速度などを純粋に測定するためにデータの出力に時間がかかると困る時，などに使えるテクニックだ．

パイプ

原理的には，リダイレクションを使えば,

Program A (出力)→ ファイル →(入力) Program B

として複数のプログラムの入出力を ファイルを媒介して 繋げられる． しかし、その場でデータを受け渡す目的だけならばファイルを介するのは無駄だし遅い．

そこで， Program A の標準出力と Program B の標準入力を直接繋いでしまう方法 が unix には用意されている.

この同時リダイレクションとでもよぶべき方法は， 「パイプ」もしくは「パイプライン」と呼ばれ，次のように使う.

注意: なお、パイプは好きなだけ何段にも重ねることができる!! ので覚えておこう．

  数学を学ぶ学生向けの説明:
・コマンド = データ列を別のデータ列へ変換する写像
・パイプ = 写像の合成
と思うとよいだろう．

パイプの実例

例えば， ps axu の結果を画面で見るとしよう. そのままこのコマンドを実行すると, 大量のデータが出力されて画面上を流れていってしまうのは経験しているだろう. こういうときは，less コマンドなどを用いて，一画面ずつ表示させるのが定石である. それには

1ps axu | less

↑ ps コマンドの出力と less コマンドの入力を直接パイプで繋いでいる

とすればよい.

さらに，この結果をプロセスの名前順に並べ直すことによって見易くしたいな〜 と思ったとしよう. すると，sort コマンドを使って，上の結果を並べ直せば良い. それにはどうするかというと，パイプを二回使って，

1ps axu | sort -k 11 | less

↑ ps コマンドの出力と sort コマンドの入力をパイプで繋ぎ，さらに sort コマンドの出力と less コマンドの入力をパイプで繋いでいる(パイプを二段使っている)

注意: ps コマンドの結果の何番目にプロセス名が表示されるかも環境に依存する．自分で数えてから 実行しよう．

とすれば，

1osboxes     1667  0.0  0.0 104232  4392 ?        S    18:09   0:00 (sd-pam)
2osboxes     1666  0.2  0.1  19384 11504 ?        Ss   18:09   0:01 /lib/systemd/systemd --user
3root         270  0.3  0.4  74192 39328 ?        S<s  18:09   0:01 /lib/systemd/systemd-journald
4root         721  0.0  0.1  24932  8420 ?        Ss   18:09   0:00 /lib/systemd/systemd-logind
5systemd+     511  0.1  0.0  16008  7188 ?        Ss   18:09   0:00 /lib/systemd/systemd-oomd
6  …略…

などと，プロセス名順に並んだ結果が画面上で一画面ずつ見られるというものだ.

  実習

• 上に示した実例と同じ作業をやってみる.
• さらに，パイプを三段使う例を考えて，実際に試してみよ.

tee

覚えておくと便利なコマンド tee ～ 出力を画面とファイルの両方に出力できる！

リダイレクションやパイプを使うときに， 「ファイルにも取っておきたいけど， 画面で確認しながら作業できないので不安だ」 という思いがあると思う.

こういう時便利なのが tee コマンドだ． 「標準入力を複製して，標準出力とファイルの両方に出力する」機能を持つ.

以下の実例を通じて解説しよう．

tee の実例

例として先の ls -lga の結果をファイルに収める例を考えてみよう.
この作業を先のやり方 ls -lga > file でやると， ''file'' の中身を見るまでどうなっているかわからない.

しかし，tee コマンドを用いて，

1ls -lga | tee sample-file

↑ ls コマンドの出力を標準出力に出しながら，かつ，sample-file というファイルにも出力する

とすると，結果は画面にも出力されつつ， sample-file という名前のファイルにも書込まれることになる.
慎重に作業を行ないたい，という時はこのコマンドを上手に使うのが良いだろう.

注意: 作業過程を記録しておく，という意味で似たようなものに script というコマンドがあることは紹介済みだ. どちらも使いこなし，適切に使い分けよう.

便利！ 先読み評価(コマンド置換, command substitution)

ここで(少し早いが)、シェルが持つコマンド置換という便利な機能を紹介しておこう．

これは，コマンド中の ` (バッククォート, 逆引用符) や $( ) , もしくは () などで囲んだ部分を「先に実行してその結果で置き換える」というものである. これによって，コマンドの出力結果をあたかも文字列のように扱える.

簡単に言えば，通常ならば分けて行なう複数の操作を一行に書ける ということである.

注: bash では `` や $() で囲んだところにコマンド置換が適用されて，fish だと () で囲んだところに適用される．

先読み評価(コマンド置換)の実例

例えば，test-日付 という名前のファイルを作りたいな〜 と思ったとしよう(日付部分は月日の4桁とか).

日付を得るには，date コマンドが使えるのでこれを使わない手はない． これはオプションを適当に指定すれば好きな形式で出力が得られる便利なコマンドで、 例えば date +%m%d とすれば 4桁の数字の形で「月」「日」が得られる.

そこで，bash/dash の場合は

1touch test-`date +%m%d`

とするか、

1touch test-$(date +%m%d)

とする．fish の場合は

1touch test-(date +%m%d)

とする．

↑ date コマンドの出力結果が文字列となる

すると，コマンド置換によって， date +%m%d という部分が先に実行されて，結果の4桁の数字に置き換えられる ため，test-0505 などという空っぽのファイルが作られることになる.

注意: テンポラリファイルを作る専用のコマンド mktemp が存在する．何か実際に作業する際には結構便利なので覚えておこう．

注意: コマンド置換の応用で，「○○というプロセスを kill する簡単なコマンド」というようなものも作ることができる. わざわざ ps axu コマンドで調べて〜 とやらずに済むので楽だ. 詳しい学生は少し考えてみよう(grep や awk を使うとよいだろう).

先読み評価の実例をもう一つ

もうちょっと複雑な例も考えてみよう. 例えば，t で始まるファイル名をもつファイルが今のディレクトリにいくつあるかざっとみておきたい， と思ったとしよう. すると，ls コマンドと wc コマンド(単語数を数える)を用いて

1ls t* | wc -w

とすれば，該当するファイルが 3つあれば 3 という答えが得られる(ディレクトリがあるとまた話が変わるよ).

しかし，数字だけしか表示されないので味気ない. そこで，echo コマンド(文字列を表示する)と組み合わせて， bash/dash の場合は

1echo "`ls t* | wc -w` t* files exist."

とするか、もしくは

1echo "$(ls t* | wc -w) t* files exist."

として，fish の場合は

1echo (ls t* | wc -w) "t* files exist."

とすると，コマンド置換によって， ls t | wc -w* 部分が先に実行されて，結果の数字に置き換えられる ため，例えば

1  3 t* files exist.

などという結果が表示されるようになる.

注意: こういう場合，単数形と複数形が異なるので，正しい英語にしたかったら面倒だ(^-^).

  実習

• ''tee'' コマンドと先読み評価に関して， 上に示した実例と同じ作業をやってみよう．

1cp /dev/null  ファイル名

1touch ファイル名

1alias 別名='本来のコマンド'

1alias 別名 本来のコマンド

1abbr -a 省略形 本来のコマンド

1help abbr

1source ファイル名

1source ./.bashrc

1source .bashrc (← たぶん動かない)

1. ファイル名  (=ピリオド，空白, ファイル名)

レポート No.4

  注意

近年はセキュリティ上の懸念から，実行形式のプログラムなどをメールに添付するとそのメールそのものの受信を受信側サーバが拒絶したりする． そういうことを避けるため，レポートをファイルで提出するときはそういった懸念のあるファイル形式のものではないようにしよう．

まあ要するに，レポートは pdf ファイルにして送るのが良い ということだと思っておこう．

以下の課題について、自らの将来のスキルアップに繋がるように調査と考察を行い，
     学籍番号-氏名-04.pdf
というファイルとしてレポートを作成し、  webフォーム から教官宛に提出しよう.

なお，レポートを $\TeX$ 等で作成したものを印刷した「紙媒体」を教官に直接手渡す形で提出してもよいが、物質によるレポート提出は常に破損や紛失の可能性があるのであまりお勧めはしないぞ．

1. 本資料の「基本編」の実習部分を行い，それについて報告せよ.
   なお、レポートには以下の内容を含めよう．
   

• 「自分で方法を考えよ」という課題の入った実習については、「どのような方法を考案したか」の解説．
• 実行したコマンド列
• そのとき観察された出力
• うまく作業できたか or 失敗した(エラーが出た) かの解析．
• 失敗した場合のリカバリーについて．
  
  

2. パイプと組み合わせて上手に使うと便利そうなコマンドを紹介せよ．
   
   なお、「発展・補足編」を読む余裕の有った者は、下記の課題にも挑戦してみると良い．
   
   
3. alias もしくは abbr を用いて便利な 別名/短縮 コマンドを自分なりに考えてみよう．可能ならばそれらをいつも使えるようにシェルの設定ファイルに書き込もう．
   
   
4. 「今日の日記を書くためにエディタが起動する」コマンドを自分で作成・組み合わせる などして用意せよ.
   具体的には，その日の日付がついたテキストファイルをエディタが開くという程度でよい.
   
   
5. シェルのプロンプト設定を「便利になるように」設定せよ．
   とくに fish を使う場合はかなり「かっこよく？」できるので，いろいろ試してみると良い．