この回の授業の概要と到達目標

この回では、コマンドを組み合わせてデータ処理をする基本を学ぶ．

そして、具体的には下記の内容を到達目標とする．

1. コマンドには「入力」「通常の出力」「エラー出力」があることを説明できる．
2. コマンドの出力をファイルに保存できる．
   例: command > file
3. 既存ファイルを壊さずに追記できる．
   例: command >> file
4. ファイルをコマンドの入力として渡せる．
   例: command < file
5. 2つ以上のコマンドをパイプでつなげる．
   例: command1 | command2
6. tee を使って，画面表示とファイル保存を同時にできる．
   
7. shell の先読み評価を理解できる．

基本編

概要: Unix のポリシー「小さなプログラムを組み合わせよう」とそのための仕組み

短い単純なプログラムを組み合わせて複雑な動作を実現する というのは Unix の重要なポリシーの一つ．
そのための仕組みの一つが 標準入出力 とその制御である リダイレクション ，パイプライン だ．

まず少し基本的な話をすると，unix では通常のプログラムは 「標準入力」「標準出力」「標準エラー出力」という特別な入出力先を持っていて，通常は下記のような関係性と使われ方をしている．

そしてこの「標準入出力」が繋がる相手をユーザーがプログラムを起動するとき毎に自由に制御することができ， その方法が「リダイレクション」や「パイプライン」なのである．

上図のように，プログラムの入出力先を''「プログラムの実行時にユーザが勝手に変えられる」''のである． 上で述べたポリシーにより ''「unix には単機能プログラムが たくさんある」'' ため，この機能と組み合わせると

まるでプログラミングをしたかのような，かなり自由なことがプログラミング不要で簡単に実現できる という「おいしい」状況が unix に出現する． これは本当に便利なので，ぜひ習得しよう.

ちょっと準備

今回の授業で具体例や実習のための準備を下記のように行おう．

1. ダミーデータを作るコマンド faker をインストールする．
   端末ソフトウェアで、下記のように打ち込もう．

   1sudo apt install python3-pip
   2sudo pip install faker --break-system-packages
   

   途中で管理パスワードを正しく入力する必要はあるだろうが、これで faker コマンドがインストールされる． 念の為、インストール後に次のコマンドを動かしてみよう．

   1faker name
   

   英語での人名っぽいものが出力されれば OK だ．
   
   注意: 上の例のように faker hoge として faker は hoge のダミーデータを作れる. どのようなものがあるかは  Standard Providers に記載がある．実は環境にも依るので、そこを詳しく知りたければ、 ちょっと長いが、

   1python3 -c "from faker import Faker; f = Faker(); \
   2  methods = [m for m in dir(f) if not m.startswith('_') \
   3  and not any(x in m for x in ['add_','set_','get_','seed','locales'])]; \
   4  print('\n'.join(sorted(methods)))" | less
   

   とすると見える．なお、この複雑なコマンドを理解する必要は無い．

   たとえば、教員の環境では上の出力中に "emoji" とあるので、

   1faker emoji
   

   とすると

   1👨🏼‍🍼
   

   という絵文字が出力されたりする．
   
   

2. (安全のために)実習用ディレクトリを作り、そこへ移動する．たとえば以下のように．

   1cd ~        # ホームディレクトリへ移動
   2mkdir work  # work というディレクトリを作成
   3cd work     # work ディレクトリへ移動
   

3. faker を使って、サンプルとなるファイル sample.txt を作成する．

   bash を使っている人の場合は次のようにする. なお、この時点で以下のコマンドを理解する必要は無い．

   1for i in {1..50}
   2do
   3  echo "$(faker name), $(faker email)" >> sample.txt
   4done
   

   fish を使っている人の場合は次のようになるだろう． なお、この時点で以下のコマンドを理解する必要は無い．

   1for i in (seq 50)
   2  echo "$(faker name), $(faker email)" >> sample.txt
   3end
   

   いずれにせよ、下記のようなダミーデータが入った sample.txt が得られるはずだ．なお、ダミーデータは作るときに乱数を用いるので、作るたびに内容が異なる．つまり、自分の手元のデータと、この web のデータが異なっているのは自然だ．

    Taylor Bradford, cheryl68@example.org
    John Rich, racheledwards@example.com
    John Ward, nduncan@example.org
    …
    Claudia Johnson, ugomez@example.com
    Mallory Collier, hensonbrian@example.com
    Lauren Rocha, chelseaparrish@example.net
   

4. 以降はこの sample.txt ファイルを用いるので、今の work ディレクトリに居る状態のままにしておこう．

標準入出力とは何か

unix ではプログラムはチャネル，もしくは デスクリプタ(ファイル記述子)とよばれる出入り口ファイルを用いてデータの入出力を行なう. 機器や環境に依存しない汎用入出力を可能とする目的で，unix ではこのうちの最初の 3つ(0 〜 2番)のデスクリプタを特別なものとして決めている. これらが標準入出力とよばれるものであり，次のような性質を持っている.

これら標準入出力によるデータの入出力の相手はプログラムを起動したシェルが決める約束になっている.

注: 標準出力と標準エラー出力は別の流れである． そのため，command > file としても，エラーメッセージは file に入らず画面に出ることがある．

リダイレクション

  標準入出力先を「コマンド投入時に」変更できる

これを上手に使えば，同じプログラムの出力をファイルへ出力したり，ディスプレイへ出力したり， 出力させなかったりと変更することを「プログラム側で全く考慮する事なく」 行なうことができる.

この「標準入出力先を変更すること」,すなわち標準入出力の制御を，(I/O)リダイレクションとよぶ.

そこで，以下に「一つのプログラムに対する」具体的なリダイレクションの方法を示そう.

注意: 二つのプログラムの入出力を直接繋げてしまう「同時リダイレクション」は特別に「パイプライン」と呼ばれる. 詳しくは後述する.

リダイレクションのやり方

標準入力を hoge ファイルに変更するには

標準出力を変更するには

  注意: 通常の sh/csh 系の場合、noclobber 変数をセットしておくと上の表にあるファイルの消去・上書きを防げる．ただし、fish はこの変数を無視して動作するので要注意だ．

  注意 : 上にあるように，リダイレクション コマンド > file では，既に存在する file の中身を消して書き込みかねない． 大事なファイル名を指定すると内容が失われるかもしれないので注意すること． 練習では必ず work などの専用ディレクトリを作って，その中で作業すること．

リダイレクションの実例

実行例 1: データを並べ直す

準備段階で作成した sample.txt を名前順に並べ直し、保存してあとでゆっくり調べたいとしよう.

こういうときは sort という「並べ直す」専用のコマンドがあるので、このコマンドにリダイレクションを用いてデータを渡し、出力結果をファイルに書き込ませれば良い．

注意: sort については次回の授業であらためて紹介する．

このケースでは，入力と出力の両方をリダイレクションすれば便利だ. 具体的には以下のようにすればよい.

1sort < sample.txt > result.txt

この例では、sort コマンドの入力先を sample.txt に，出力先を result.txt にリダイレクトしている． こうして、 ''result.txt'' に望みの結果が保存されるという手はずだ．

  リダイレクションと直接の関連性は無いが、混乱しないように、sort < ファイル名 と sort ファイル名 の違いなどを示しておこう．

実行例 2: 不要な出力を捨てる

まず、下記の例を実行してみよう．

1cat sample.txt               # 普通に中身が出力される
2
3cat sample.txt > /dev/null   # /dev/null というファイルへの出力に見えるが…
4cat /dev/null                # このファイルに何も入っていない

実はこの例のように、/dev/null というファイルへの出力は無かったことになる． これは、このファイルが特別で、下記のような性質を持っているからだ．

• 標準入力先に指定すると，「何も出てこない」
• 標準出力先に指定すると，「全て飲み込んで，何も変化しない」
  

よって，/dev/null を使えば、不要な出力を捨てることができる. エラーメッセージも一緒に捨てたいという場合は下記のようにすれば良い．

これで標準出力と標準エラー出力の両方がブラックホールへと消えていく.

ジョブをバックグラウンドで実行させていて，その出力が邪魔な時や， コマンドを nohup で実行させる場合， プログラムの計算速度などを純粋に測定するためにデータの出力に時間がかかると困る時，などに使えるテクニックだ．

  実習: 上の実行例 1,2 を実際に行ってみよう．

パイプ

原理的には，リダイレクションを使えば,

Program A (出力)→ ファイル →(入力) Program B

として複数のプログラムの入出力を ファイルを媒介して 繋げられる． しかし、その場でデータを受け渡す目的だけならばファイルを介するのは無駄だし遅い．

そこで， Program A の標準出力と Program B の標準入力を直接繋いでしまう方法 が unix には用意されている.

この同時リダイレクションとでもよぶべき方法は， 「パイプ」もしくは「パイプライン」と呼ばれ，次のように使う.

注意: なお、パイプは好きなだけ何段にも重ねることができる!! ので覚えておこう．

実行例 3: パイプを使ってみる

たとえば先の sample.txt の中身を見るために、 cat で出力して、それをパイプで ``less``` コマンドに渡せば、一画面ずつ表示できる．

1cat sample.txt | less

という感じだ．

さらに，この内容(名, 氏, メールアドレス が書かれている)を氏名の「氏」で並べたいときは、 ``sort``` コマンドも使って下記のようにすれば良い．パイプを二回使っていることに注意しよう．

1cat sample.txt | sort -k 2 | less

注意: sort -k 2 は、行の中の2番目の要素をキーとして並べ直す、という意味である．詳しくは次回の授業で．

結果は以下のような感じだろう．

Mikayla Alexander, guerrarobert@example.org
James Allison, melissacruz@example.com
Brandy Blackwell, kgrimes@example.com
…
Andrew Wilson, pittsnancy@example.org
Travis Wood, theresa57@example.org
Robert Zuniga, umiller@example.com

  実習: 上の実行例 3 を実際に行ってみよう．

覚えておくと便利なコマンド tee ～ 出力を画面とファイルの両方に出力できる！

リダイレクションやパイプを使うときに， 「ファイルにも取っておきたいけど， 画面で確認しながら作業できないので不安だ」 という思いがあると思う.

こういう時便利なのが tee コマンドだ． 「標準入力を複製して，標準出力とファイルの両方に出力する」機能を持つ.

以下の実例を通じて解説しよう．

実行例 4: tee を使ってみる

例として先の sample.txt を氏名の「氏」で並べ直したコマンドを使ってみよう． tee を使って、結果を画面で見つつ、ファイルにも保存するのだ． 具体的には、

1cat sample.txt | sort -k 2 | tee result2.txt | less

とすると、sort コマンドの出力をパイプで次に渡しつつ、sample2.txt ファイルに保存する.

  実習: 上の実行例 4 を実際に行ってみよう．

便利！ 先読み評価(コマンド置換, command substitution)

ここで(少し早いが)、シェルが持つコマンド置換という便利な機能を紹介しておこう．
これは，コマンド中の 一部分を先に実行してその結果で置き換える 機能だ．
通常ならば分けて行なう複数の操作を一度で完了できる ので便利なシーンがある．

文法は以下のとおりだ．

実行例 5: 先読み評価(コマンド置換)を体験する

日付部分は月日の4桁として、"test-日付" という名前のファイルを作ることを想定しよう． 4桁の日付を得るにはオプションを date +%m%d とした date コマンドが使えるので、あとは

1touch test-$(date +%m%d)

とすれば良い．

すると，コマンド置換によって date +%m%d 部分が先に実行され，4桁の数字に置き換えられ、 test-0514 などというファイルが作られる.

  実習: 上の実行例 5 を実際に行ってみよう．

1cp /dev/null  ファイル名

1touch ファイル名

1alias 別名='本来のコマンド'

1alias 別名 本来のコマンド

1abbr -a 省略形 本来のコマンド

1help abbr

1source ファイル名

1source ./.bashrc

1source .bashrc (← たぶん動かない)

1. ファイル名  (=ピリオド，空白, ファイル名)

レポート No.4

  注意

近年はセキュリティ上の懸念から，実行形式のプログラムなどをメールに添付するとそのメールそのものの受信を受信側サーバが拒絶したりする． そういうことを避けるため，レポートをファイルで提出するときはそういった懸念のあるファイル形式のものではないようにしよう．

まあ要するに，レポートは pdf ファイルにして送るのが良い ということだと思っておこう．

以下の課題について、自らの将来のスキルアップに繋がるように調査と考察を行い，
     学籍番号-氏名-04.pdf
というファイルとしてレポートを作成し、  webフォーム から教官宛に提出しよう.

なお，レポートを $\TeX$ 等で作成したものを印刷した「紙媒体」を教官に直接手渡す形で提出してもよいが、物質によるレポート提出は常に破損や紛失の可能性があるのであまりお勧めはしないぞ．

1. 本資料の「基本編」の実習部分を行い，それについて報告せよ.
   なお、レポートには以下の内容を含めよう．
   

• 「自分で方法を考えよ」という課題の入った実習については、「どのような方法を考案したか」の解説．
• 実行したコマンド列
• そのとき観察された出力
• うまく作業できたか or 失敗した(エラーが出た) かの解析．
• 失敗した場合のリカバリーについて．
  
  

2. パイプと組み合わせて上手に使うと便利そうなコマンドを紹介せよ．
   
   なお、「発展・補足編」を読む余裕の有った者は、下記の課題にも挑戦してみると良い．
   
   
3. alias もしくは abbr を用いて便利な 別名/短縮 コマンドを自分なりに考えてみよう．可能ならばそれらをいつも使えるようにシェルの設定ファイルに書き込もう．
   
   
4. 「今日の日記を書くためにエディタが起動する」コマンドを自分で作成・組み合わせる などして用意せよ.
   具体的には，その日の日付がついたテキストファイルをエディタが開くという程度でよい.
   
   
5. シェルのプロンプト設定を「便利になるように」設定せよ．
   とくに fish を使う場合はかなり「かっこよく？」できるので，いろいろ試してみると良い．