ip netns でブリッジを作成する
Linuxで動かしながら学ぶTCP/IPネットワーク入門 を読んでいます。 この本の中で登場した ip netns コマンドの使い方をメモしておきます。
ブリッジを作成する
「DNSがよくわかる教科書」を読んだメモ
TLD
スタブリゾルバ
- DNSクライアントとも呼ばれる
フルリゾルバ
- スタブリゾルバが指定した
問い合わせ情報(ドメイン名と種類)が自分のキャッシュにあれば、それを返す - 問い合わせ情報がキャッシュに無いと、権威サーバの階層構造をルートサーバから、たどり名前解決する。以下は example.jp を問い合わせする例
- 委任情報や名前解決を一定時間キャッシュすることで以下を実現する
- キャッシュには
問い合わせ情報(ドメイン名と種類)が存在しないことを表すネガティブキャッシュもある - 似ているものにフォワーダーがある
権威サーバ
- 自分のゾーンの委任情報とドメインとアドレス間の対応関係を管理する。ネームサーバとも呼ばれる
- 権威サーバでは階層化して委任することでドメインを管理する。委任された範囲を
ゾーンと呼ぶ - ゾーンの設定内容を
ゾーンデータといい、リソースレコードという単位で情報を保持する - 同じゾーンデータの権威サーバを複数台設置できる仕組みを
ゾーン転送という - プライマリサーバをリゾルバには応答しない形にして、ゾーン転送のみ利用する方法もある。プライマリサーバの負荷軽減とセキュリティ強化ができる
- 委任した側を
親といい、委任された側を子という。.jpなら、親がルートドメイン、子は jp ドメイン - 子はインターネット上にネームサーバ(ns1.example.jp など)を用意し、ゾーン内のドメイン名の対応付けと委任先(子)の情報を管理する
- 親は子のネームサーバ情報(ns1.example.jp とその IP) を自分のネームサーバに登録する
リソースレコード
便利なコマンド
- dig, drill, kdig
サンプルなど
- 以下ではリソースレコードとコマンド実行例のサンプルを載せている arw.hatenablog.jp
iPad から Ubuntu の Vino に接続する
ip netns でネットワークセグメントを作成する
Linuxで動かしながら学ぶTCP/IPネットワーク入門 を読んでいます。 この本の中で登場した ip netns コマンドの使い方をメモしておきます。
ネットワークセグメントを 2 つ作成し、通信できるようにする
動作確認
$ sudo ./create_netns.sh $ sudo ip netns exec node1 ping 192.0.2.1 -c 2 PING 192.0.2.1 (192.0.2.1) 56(84) bytes of data. 64 bytes from 192.0.2.1: icmp_seq=1 ttl=62 time=0.022 ms 64 bytes from 192.0.2.1: icmp_seq=2 ttl=62 time=0.082 ms --- 192.0.2.1 ping statistics --- 2 packets transmitted, 2 received, 0% packet loss, time 1064ms rtt min/avg/max/mdev = 0.022/0.052/0.082/0.030 ms
join コマンドの練習
join コマンドを使ったファイルの結合を練習してみます。
テスト用にファイル breeds と dogs を用意しました。
2 つとも 1 行目はヘッダです。データはソートされていないです。
$ cat breeds id breed 4 maltese 1 poodle 3 frenchbulldog 2 pomeranian 5 husky $ cat dogs id name breed_id 2 koro 5 1 sofia 4 3 louis 3
結合できなかった行を表示しない場合(内部結合?)
後ほど出てきますが -a オプションを付けないと
結合できなかった行は表示されません。
まずは dogs の breed_id で結合してみます。
join コマンドでは対象データがソートされている必要があるので
sort した結果を join に渡しています。ヘッダ行は邪魔なので
sort 前に sed '1d' で消しています。
join の -1 3 -2 1 は 1 つめのファイルの 3 つめのフィールドと
2 つめのファイルの 1 つめのフィールドを結合するという意味です。
$ join -1 3 -2 1 <(sed '1d' dogs | sort -k3) <(sed '1d' breeds | sort) 3 3 louis frenchbulldog 4 1 sofia maltese 5 2 koro husky
join で -o を使用すると表示するフィールドを選択できます。
1.1 は 1 つめのファイルの 1 つめのフィールドという意味です。
$ join -1 3 -2 1 -o 1.1 1.2 1.3 2.2 <(sed '1d' dogs | sort -k3) <(sed '1d' breeds | sort) 3 louis 3 frenchbulldog 1 sofia 4 maltese 2 koro 5 husky
今度は breeds の id で結合してみます。-a オプションが無いので
poodle, pomeranian は表示されません。
$ join -1 1 -2 3 -o 1.1 1.2 2.1 2.2 <(sed '1d' breeds | sort) <(sed '1d' dogs | sort -k3) 3 frenchbulldog 3 louis 4 maltese 1 sofia 5 husky 2 koro
結合できなかった行を表示する場合(外部結合?)
上記の poodle, pomeranian が表示されなかったコマンドに -a 1 を付けて
実行してみます。-a 1 -a 2 という使い方もできるらしいです。
-e で一致するフィールドが無い時に表示する文字列を指定します。
$ join -a 1 -1 1 -2 3 -o 1.1 1.2 2.1 2.2 -e NULL <(sed '1d' breeds | sort) <(sed '1d' dogs | sort -k3) 1 poodle NULL NULL 2 pomeranian NULL NULL 3 frenchbulldog 3 louis 4 maltese 1 sofia 5 husky 2 koro
参考にさせていただいたサイト
サービスのログが journald に収集されるか試す
journald について勉強しています。systemd が起動するサービスの標準出力と標準エラー出力が journald に収集されるか、 テスト用のログを出力するサービスを作り、試してみました。
テスト用のログ出力スクリプト
以下のスクリプトを /home/pi/testsh/test.sh に配置しました。
10 秒ごとに標準出力と標準エラー出力に書き込みます。
#!/bin/bash while true do sleep 10 echo "hello stdout" echo "hello stderr" >&2 done
ユニットファイルを作る
test.sh を実行するサービスのユニットファイルを /etc/systemd/system/test.service に作ります。
参考にさせてもらったサイト: https://qiita.com/DQNEO/items/0b5d0bc5d3cf407cb7ff
$ sudoedit /etc/systemd/system/test.service $ cat /etc/systemd/system/test.service [Unit] Description = test [Service] ExecStart = /home/pi/testsh/test.sh Restart = always Type = simple [Install] WantedBy = multi-user.target
test.service がサービスとして認識されたか確認する
OK ですね。
$ sudo systemctl list-unit-files --type=service | grep test test.service disabled
サービスを起動して、journald のログを確認する
サービス起動前に journalctl | grep hello で journald のログに hello stdout と hello stderr が無いことを確認します。
$ journalctl | grep hello
サービスを起動します。
$ sudo systemctl start test.service
再度ログを確認すると、ちゃんと出力されています。
$ journalctl | grep hello 4月 04 17:24:28 raspberrypi test.sh[13035]: hello stdout 4月 04 17:24:28 raspberrypi test.sh[13035]: hello stderr 4月 04 17:24:38 raspberrypi test.sh[13035]: hello stdout 4月 04 17:24:38 raspberrypi test.sh[13035]: hello stderr
確認が終わったら、サービスを止めておきます。
$ sudo systemctl stop test.service
systemd-cat
systemd-cat を実行しても journald にログを記録できるみたいです。
参考にさせてもらったサイト: https://serverfault.com/questions/573946/how-can-i-send-a-message-to-the-systemd-journal-from-the-command-line
$ journalctl | grep bowwow $ echo 'bowwow' | systemd-cat $ journalctl | grep bowwow 4月 04 17:54:27 raspberrypi cat[13153]: bowwow
「Linuxのしくみ」を読んだメモ
試して理解 Linuxのしくみ 実験と図解で学ぶOSとハードウェアの基礎知識 第3刷
を読み終えました。自分用に整理したメモを残しておきます。
勉強用リポジトリ: https://github.com/hiroygo/linux-in-practice
調査用のコマンドやファイル
/proc/cpuinfo ファイル
cat /proc/cpuinfo で CPU 情報を取得できる。
taskset コマンド
プロセスが動作する論理 CPU を指定できる。
$ taskset -c 0,4 ./fuga
time コマンド
プロセスの処理時間を計測できる。
real が経過時間、user がユーザモードの時間、
sys がカーネルがシステムコールを実行していた時間。
$ time ps
PID TTY TIME CMD
41058 pts/0 00:00:00 bash
41067 pts/0 00:00:00 ps
real 0m0.039s
user 0m0.005s
sys 0m0.006s
strace コマンド
プロセスのシステムコールを確認できる。
strace の出力は 1 行が 1 つのシステムコールに対応する。
free コマンド
メモリ状況を確認できる。開放可能なカーネルメモリ領域のサイズと free の合計が available になる。 開放可能なカーネルメモリ領域とはバッファキャッシュやページキャッシュなど。 Swap 行がスワップ領域の情報。
$ free
total used free shared buff/cache available
Mem: 7820180 1660916 3412396 387088 2746868 5450456
Swap: 2097148 0 2097148
ps コマンド
min_flt と maj_flt でページフォルトの総数が取れる。
$ ps -o pid,comm,min_flt,maj_flt
PID COMMAND MINFL MAJFL
5617 bash 1524 0
8884 ps 178 0
readelf コマンド
ELF フォーマットの実行ファイルの情報を表示する。以下のサンプルでは、メモリマップ開始アドレスは 0000000000002580 と 000000000000a000 になっている。
$ readelf -S /bin/sleep
There are 30 section headers, starting at offset 0x91d8:
Section Headers:
[Nr] Name Type Address Offset
Size EntSize Flags Link Info Align
...
[16] .text PROGBITS 0000000000002580 00002580
0000000000003692 0000000000000000 AX 0 0 16
...
[26] .data PROGBITS 000000000000a000 00009000
0000000000000080 0000000000000000 WA 0 0 32
...
CPU のカーネルモードとユーザモード(第1章, 第2章)
プロセスから直接デバイスやプロセス管理システムなどにアクセスできないようにするため、 CPU にはカーネルモードとユーザモードがある。カーネルモードの時だけ、 デバイスやプロセス管理システムなどにアクセスできる。プロセスがシステムコールを発行すると、 CPU で割り込みというイベントが発生し、CPU はユーザモードからカーネルモードに遷移する。 システムコール処理が終わると CPU はユーザモードに戻る。 デバイスドライバはカーネルモードで動作する。
システムコール(第2章)
システムコールはアーキテクチャ依存のアセンブラコードで呼ぶ必要がある。 (特定のレジスタに実行したいシステムコールの番号を設定するなど) C だとインラインアセンブラという機能がある。これだと手間がかかるので、 OS にはシステムコールを呼び出すラッパー関数が用意されている。 CPU がカーネルモードに遷移すると、システムコールの番号から システムコール・テーブルを参照して、対応するカーネルの処理を呼び出す。
- 参考にさせてもらったサイト
プロセスの状態(第4章)
プロセスの状態には実行中、実行待ち(CPU で実行されるの待ち)、スリープ(イベント待ち)、ゾンビがある。
OOM Killer(第5章)
どうやってもメモリが不足するような場合、Out of Memory(OOM) という状態になる。 この場合、OOM Killer が実行され、適当なプロセスが kill されることがある。
仮想記憶(第5章)
プロセスは仮想記憶というメモリを使う。 仮想記憶のアドレスと物理メモリのアドレスの対応はカーネルメモリ領域のページテーブルで ページという単位で管理される。 仮想記憶を使うことで以下を解決する。
- メモリ断片化
- 物理メモリでは断片化しているメモリ領域を、あたかも連続しているように見せることが出来る。
- 他のプロセスやカーネルメモリ領域へのアクセス制御
- 仮想記憶はプロセスごとに作られ、ページテーブルで管理される。このため他のメモリ領域が見えなくなる。
- 他のプロセスとのアドレス衝突
- プロセスを起動するために、ディスクなどからメモリにプロセスをマッピングする時に、他のプロセスとメモリマップ開始アドレスなどが衝突する可能性がある。仮想記憶はプロセスごとに作られるので回避できる。
- メモリマップ開始アドレスなどは readelf から確認できる。
不正な仮想アドレスにプロセスがアクセスすると、ページフォルトという割り込みが発生し、カーネルのページフォルトハンドラが実行され、
カーネルはプロセスに SIGSEGV を通知する。
mmap と malloc(第5章)
mmap ではページ単位でメモリを確保する。malloc でバイト単位で確保できるのは、glibc が中間管理してくれているから。
デマンドページング(第5章)
プロセスが mmap でメモリ確保した段階では、実際に物理メモリが割り当てられているわけではない。 確保した仮想アドレス(ページ)に最初にアクセスした時に、ページフォルトが走り、物理メモリが割り当てされる。
コピーオンライト(第5章)
fork で子プロセスを作成した段階では子プロセス用のメモリ領域は確保されていない。ページテーブルだけコピーされる。 この段階では親プロセスと子プロセスはメモリ領域を共有している。 親プロセスまたは子プロセスのどちらかがメモリに書き込むと、対応するページだけページフォルトが走り、 親プロセス用のページと子プロセス用のページに分かれる。
スワップ(第5章)
ストレージにメモリを退避して、空きメモリを確保する仕組み。 スワップイン、スワップアウトが頻繁に繰り返される状態をスラッシングという。
ページキャッシュ(第6章)
ストレージ上のデータをメモリ上にキャッシュする仕組み。プロセスがデータを変更するとページキャッシュも変更され、後でストレージ上のデータも更新される。 メモリが不足してくると、カーネルはページキャッシュを開放する。 ページキャッシュは複数のプロセスからアクセスされる可能性がある。
ファイルシステム(第7章)
ファイルシステムが無いとユーザは自分で、そのデータについて、ストレージデバイス上でのアドレス、サイズを憶えておかないといけない。
ファイルシステムにはデータ本体(ファイル)とメタデータ(データ本体のアドレス、サイズ、名前、作成日時など)がある。
tmpfs はメモリ上のファイルシステムでアクセスが高速、再起動で消去されるというもの。/tmp などに使われる。
ジャーナリング(第7章)
ファイルシステムの不整合を防ぐ仕組み。ファイルシステムのジャーナル領域にアトミックで実行されるべき複数のファイルシステム操作を保存してから、操作を実行する。
キャラクタデバイスとブロックデバイス(第7章)
- キャラクタデバイス: キーボード、マウスなど。シークできない
- 参考にさせてもらったサイト: https://qiita.com/koara-local/items/6484723d29afad4c3afb
- ブロックデバイス: HDDなど
