nsenter 命令是一个可以在指定进程的命令空间下运行指定程序的命令，它位于 util-linux 包中。通过 nsenter 命令可以极大方便容器网络等场景的调试，本文将介绍其原理与使用。

用途

一个最典型的用途就是进入容器的网络命令空间。相当多的容器为了轻量级，是不包含较为基础的命令的，比如说ip address，ping，telnet，ss，tcpdump等等命令，这就给调试容器网络带来相当大的困扰：只能通过docker inspect ContainerID命令获取到容器 IP，以及无法测试和其他网络的连通性。这时就可以使用 nsenter 命令仅进入该容器的网络命名空间，使用宿主机的命令调试容器网络。

此外，nsenter 也可以进入 mnt, uts, ipc, pid, user 命令空间，以及指定根目录和工作目录。

使用

首先看下 nsenter 命令的语法：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

nsenter [options] [program [arguments]]

options:
-t, --target pid：指定被进入命名空间的目标进程的pid
-m, --mount[=file]：进入mount命令空间。如果指定了file，则进入file的命令空间
-u, --uts[=file]：进入uts命令空间。如果指定了file，则进入file的命令空间
-i, --ipc[=file]：进入ipc命令空间。如果指定了file，则进入file的命令空间
-n, --net[=file]：进入net命令空间。如果指定了file，则进入file的命令空间
-p, --pid[=file]：进入pid命令空间。如果指定了file，则进入file的命令空间
-U, --user[=file]：进入user命令空间。如果指定了file，则进入file的命令空间
-G, --setgid gid：设置运行程序的gid
-S, --setuid uid：设置运行程序的uid
-r, --root[=directory]：设置根目录
-w, --wd[=directory]：设置工作目录

如果没有给出program，则默认执行$SHELL。

示例，在节点上有一个 coredns 的容器，可以看到 Pod IP 为 9.166.64.132，查看该容器的 pid

1
2
3
4

$ kubectl get po -n kube-system -owide | grep coredns
coredns-65d9c796fc-6bdk9                  1/1     Running   0          9d      9.166.64.132    9.42.28.159     <none>
$ pgrep coredns
1071822

然后，使用 nsenter 命令进入该容器的网络命令空间，可以看到容器内部 IP 为 9.166.64.132，符合预期。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

$ nsenter -t `pgrep coredns` -n
$ ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
3: eth1@if9: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default
    link/ether 0e:b2:dd:14:7b:42 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 9.166.64.132/26 brd 9.166.64.191 scope global eth1
       valid_lft forever preferred_lft forever
    inet6 fe80::cb2:ddff:fe14:7b42/64 scope link
       valid_lft forever preferred_lft forever

原理

关于 Linux Namespace 可以阅读我之前的博文，此处主要介绍 nsenter 的原理。

setns

clone 用于创建新的命令空间，而 setns 则用来让当前线程（单线程即进程）加入一个命名空间。

语法：

1
2
3
4
5
6
7

#define _GNU_SOURCE             /* See feature_test_macros(7) */
#include <sched.h>

int setns(int fd, int nstype);

// fd参数是一个指向一个命名空间的文件描述符，位于/proc/PID/ns/目录。
// nstype指定了允许进入的命名空间，一般可设置为0，表示允许进入所有命名空间。

因此，往往该函数的用法为：

  1. 调用 setns 函数：指定该线程的命名空间。
  2. 调用 execvp 函数：执行指定路径的程序，创建子进程并替换父进程。

这样，就可以指定命名空间运行新的程序了。

代码示例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

#define _GNU_SOURCE
#include <fcntl.h>
#include <sched.h>
#include <unistd.h>
#include <stdlib.h>
#include <stdio.h>

#define errExit(msg)    do { perror(msg); exit(EXIT_FAILURE); \
                        } while (0)

int
main(int argc, char *argv[])
{
    int fd;

    if (argc < 3) {
        fprintf(stderr, "%s /proc/PID/ns/FILE cmd args...\n", argv[0]);
        exit(EXIT_FAILURE);
    }

    fd = open(argv[1], O_RDONLY); /* Get file descriptor for namespace */
    if (fd == -1)
        errExit("open");

    if (setns(fd, 0) == -1)       /* Join that namespace */
        errExit("setns");

    execvp(argv[2], &argv[2]);    /* Execute a command in namespace */
    errExit("execvp");
}

使用示例：

1

./ns_exec /proc/3550/ns/uts /bin/bash

nsenter

那么，最后就是 nsenter 了，nsenter 相当于在 setns 的示例程序之上做了一层封装，使我们无需指定命名空间的文件描述符，而是指定进程号即可。

指定进程号 PID 以及需要进入的命名空间后，nsenter 会帮我们找到对应的命名空间文件描述符/proc/PID/ns/FD，然后使用该命名空间运行新的程序。

参考文档