跳至主要内容

命令行环境

命令行界面

  • 在大多数编程语言中,写个函数大概长这样
1
2
def add(x: int, y: int) -> int:
return x + y
  • 而shell脚本第一眼看上去可能完全是另一回事
1
2
3
4
5
6
7
8
9
10
11
12
13
#!/usr/bin/env bash

if [[ -f $1 ]]; then
echo "Target file already exists"
exit 1
else
if $DEBUG; then
grep 'error' - | tee $1
else
grep 'error' - > $1
fi
exit 0
fi
  • 要准确理解这类脚本中发生了什么,首先需要引入几个在程序间通信或与 Shell 环境交互时高频出现的概念:
    • 参数(Arguments)
    • 流(Streams)
    • 环境变量(Environment variables)
    • 返回码(Return codes)
    • 信号(Signals)

参数

  • shell程序中,参数本质上就是纯字符串,由程序决定怎么解析这些字符串
  • 比如执行了ls -l folder/时,实际上是在运行/bin/ls这个程序 并给它传了一组参数’-l’ ‘folder/‘
  • 在shell脚本内部,可以通过特殊语法访问这些参数。$1访问第一个参数
  • $2到$9依次类推,$@以列表形式访问所有参数,$#获取参数格式,$获取参数个数,$0则是程序本身的名称
  • 对于带哦书程序,参数通常由选项和普通字符串组成
  • 选项特征是带-或者–。它们通常是可选的,用来修改程序的行为
  • 比如ls -l,改变了ls的输出格式
  • 很多时候–all和-a是等价的
  • ls -l -a和ls -la
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
touch folder/{a,b,c}.py
# 会被扩展为
touch folder/a.py folder/b.py folder/c.py

convert image.{png,jpg}
# 会被扩展为
convert image.png image.jpg

cp /path/to/project/{setup,build,deploy}.sh /newpath
# 会被扩展为
cp /path/to/project/setup.sh /path/to/project/build.sh /path/to/project/deploy.sh /newpath

# 通配符技巧也可以被结合
mv *{.py,.sh} folder
# 会移动所有 *.py 和 *.sh 文件

流

1
cat myfile | grep -P '\d+' | uniq -c
  • grep同时在和cat、uniq两个程序通信
  • 这三个程序其实是同时运行的。也就是说,Shell并不是先执行cat,再执行grep,最后执行uniq。相反,三个程序会一起被启动
  • Shell把cat的输出接到grep的输入,再把grep的输出接到uniq的输入。使用管道运算符|时,shell操作的就是从前一个程序流向后一个程序的数据流
  • 展示并发性
1
2
3
4
5
6
7
8
$ (sleep 15 && cat numbers.txt) | grep -P '^\d$' | sort | uniq  &
[1] 12345
$ ps | grep -P '(sleep|cat|grep|sort|uniq)'
32930 pts/1 00:00:00 sleep
32931 pts/1 00:00:00 grep
32932 pts/1 00:00:00 sort
32933 pts/1 00:00:00 uniq
32948 pts/1 00:00:00 grep
  • 可以看到,除 cat 以外,其他进程都会马上开始运行。Shell 会先创建所有进程并连接好它们的流,而不是等一个结束再启动下一个。cat 只有在 sleep 结束后才会真正执行,然后输出流向 grep,后面同理。
  • 每一个程序都有一个输入流,叫stdin(standard input,标准输入)。使用管道时,stdin会自动连接。在脚本中,很多程序还接受-作为文件名,表示stdin读取
1
2
3
# 当数据从管道传输时,以下是等价的
echo "hello" | grep "hello"
echo "hello" | grep "hello" -
  • 类似的,每个程序还有两个输出流:stdout和stderr。stdout时最常见的输出也是默认会通过管道传给下一个命令的。stderr是另一条流,程序用它输出警告和其他问题信息,这样这些内容就不会被管道中的下一个命令当成正常数据处理
1
2
3
4
5
6
7
$ ls /nonexistent
ls: cannot access '/nonexistent': No such file or directory
$ ls /nonexistent | grep "pattern"
ls: cannot access '/nonexistent': No such file or directory
# The error message still appears because stderr is not piped
$ ls /nonexistent 2>/dev/null
# No output - stderr was redirected to /dev/null
  • Shell提供了专门的语法来重定向这些流
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# 将标准输出(stdout)重定向到文件(覆盖)
echo "hello" > output.txt

# 将标准输出(stdout)重定向到文件(追加)
echo "world" >> output.txt

# 将标准错误(stderr)重定向到文件
ls foobar 2> errors.txt

# 将标准输出和标准错误同时重定向到同一个文件
ls foobar &> all_output.txt

# 从文件中重定向标准输入(stdin)
grep "pattern" < input.txt

# 通过重定向到 /dev/null 来丢弃输出
cmd > /dev/null 2>&1

环境变量

  • 在bash里,给变量赋值写成foo=bar,读取变量值用%foo。注意foo = bar是非法语法,因为shell会把它解析成调用程序foo,并传入参数['=', 'bar']。在shell中,空格的作用就是分隔参数。这个行为一开始不符合直觉,要特别记住
  • shell变量没有类型,本质上都是字符串,还要注意,单引号和双引号在shell中并不能呼唤。’包起来的是字面量字符串,不展开变量、不做命令替换、也不处理转义序列;”包起来的则会
1
2
3
4
5
foo=bar
echo "$foo"
# 打印 bar
echo '$foo'
# 打印 $foo
  • 要把一个命令的输出保存到变量里,我们会用命令替换
1
2
3
files=$(ls)
echo "$files" | grep README
echo "$files" | grep ".py"
  • ls的输出(stdout)会被存进变量$files,后面可以继续使用
  • $files中保留了ls输出的换行符,所以grep等程序能把每一项当作独立的一行来处理
  • 另一个类似但没那么出名的特性就是进程替换
  • <(CMD),会执行CMD,把输出存入临时文件,再用临时文件替换掉<()
  • 当某个命令要求通过文件而不是stdin传值时,这就很有用了
  • 比如,diff <(ls src) <(ls docs)会展示src和docs两个目录中文件列表的差异
  • 每当shell程序调用另一个程序时,它会顺带传过去一组变量,这就是环境变量。在shell里可以通过printenv查看当前环境变量,想显示给某个命令传环境变量,可以在命令前面直接加赋值
1
2
TZ=Asia/Tokyo date  # 打印东京的当前时间
echo $TZ # 这将为空,因为 TZ 仅为子命令设置
  • 另一种方式是用内建命令export,它会修改当前shell的环境,之后启动的所有子进程都会继承这个变量

关于本文

由 GuQing 撰写,采用 CC BY-NC 4.0 许可协议。