分析协议层注册到内核并成为套接字的过程

1.前言

本文首先从宏观上总结了发送数据包的过程，然后分析了协议层注册到内核并成为套接字的过程，最后介绍了通过套接字发送网络数据的过程。

2.数据包传输的宏观视角

从宏观上看，数据包从用户程序到硬件网卡的整个过程如下：

使用系统调用(如sendto、sendmsg等)写入数据。)

数据通过套接字子系统并进入套接字协议族系统

协议族处理：数据通过协议层，这个过程(在许多情况下)将数据转换成数据包

数据通过路由层，这将涉及路由缓存和ARP缓存的更新；如果目的媒体访问控制地址不在ARP缓存表中，将触发ARP广播来查找媒体访问控制地址

通过协议层，数据包到达设备不可知层

使用XPS(如果启用)或哈希函数选择发送队列

调用网卡驱动程序的发送功能

数据传输到网卡的qdisc(队列规程)

Qdisc将直接发送数据(如果可能)，或者将其放入队列，并在下次触发NET_TX (softirq)类型的软中断时发送

数据从qdisc传输到驱动程序

驱动程序创建所需的DMA映射，以便网卡可以从内存中读取数据

驱动程序向网卡发送信号，通知可以发送数据

网卡从内存中获取数据并发送出去

传输完成后，设备触发硬中断(IRQ)，表示传输完成

硬中断处理功能被唤醒并执行。对于许多设备来说，这将触发一个NET_RX类型的软中断，然后NAPI轮询开始循环接收数据包

轮询函数调用驱动程序的相应函数来取消DMA映射并释放数据

3.协议层注册

协议层分析我们会关注IP和UDP层，其他协议层可以参考这个流程。我们首先看看协议家族是如何在内核中注册并被套接字子系统使用的。

当用户程序创建一个UDP套接字时会发生什么，如下所示？

sock=socket(AF_INET，SOCK_DGRAM，IPPROTO_UDP)

简单来说，内核会找到一组从UDP协议栈中派生出来的函数(包括发送和接收网络数据的函数)，并将它们分配给socket的相应字段。要准确理解这个过程，需要看AF_INET地址族的代码。

在内核初始化的早期阶段，执行了inet_init函数。该函数将注册AF_INET协议族和该协议族中的各种协议栈(TCP、UDP、ICMP和RAW)，并调用初始化函数，使协议栈做好处理网络数据的准备。Inet_init在net/IPv4/af _ inet.c中定义。

AF_INET协议族导出包含创建方法的struct net_proto_family类型的实例。从用户程序创建套接字时，内核调用此方法：

static const struct net _ proto _ family inet _ family _ ops={ 0。family=PF_INET。create=inet_create。所有者=THIS _ MODULE，

};

根据传递的套接字参数，inet_create在注册的协议中查找相应的协议：

/*查找请求的类型/协议对。*/

查找协议：

err=-ESOCKTNOSUPPORT；

rcu _ read _ lock()；

list _ for _ each _ entry _ rcu(答案，inetsw[sock-]类型)，list){ 0

err=0；

/*检查非野生匹配。*/

if(协议==答案-】协议()

if(协议！=IPPROTO_IP)

打破；

} else {

/*检查两种野生情况。*/

if (IPPROTO_IP==协议){ 0

协议=答案-》协议；

打破；

}

if (IPPROTO_IP==答案-】协议)

打破；

}

err=-EPROTONOSUPPORT；

}

然后，将协议的回调方法(集合)分配给新创建的套接字：

袜子——ops=答案——ops；

您可以在af_inet.c中看到所有协议的初始化参数。以下是TCP和UDP的初始化参数

数：

/* Upon startup we insert all the elements in inetsw_array［］ into

* the linked list inetsw.

*/

static struct inet_protosw inetsw_array［］ =

{

{

.type = SOCK_STREAM，

.protocol = IPPROTO_TCP，

.prot = &tcp_prot，

.ops = &inet_stream_ops，

.no_check = 0，

.flags = INET_PROTOSW_PERMANENT |

INET_PROTOSW_ICSK，

}，

{

.type = SOCK_DGRAM，

.protocol = IPPROTO_UDP，

.prot = &udp_prot，

.ops = &inet_dgram_ops，

.no_check = UDP_CSUM_DEFAULT，

.flags = INET_PROTOSW_PERMANENT，

}，

/* 。。。。 more protocols 。。。 */

IPPROTO_UDP 协议类型有一个 ops 变量，包含很多信息，包括用于发送和接收数据的回调函数：

const struct proto_ops inet_dgram_ops = {

.family = PF_INET，

.owner = THIS_MODULE，

/* 。。。 */

.sendmsg = inet_sendmsg，

.recvmsg = inet_recvmsg，

/* 。。。 */

};

EXPORT_SYMBOL（inet_dgram_ops）;

prot 字段指向一个协议相关的变量（的地址），对于 UDP 协议，其中包含了 UDP 相关的回调函数。UDP 协议对应的 prot 变量为 udp_prot，定义在 net/ipv4/udp.c：

struct proto udp_prot = {

.name = “UDP”，

.owner = THIS_MODULE，

/* 。。。 */

.sendmsg = udp_sendmsg，

.recvmsg = udp_recvmsg，

/* 。。。 */

};

EXPORT_SYMBOL（udp_prot）;

现在，让我们转向发送 UDP 数据的用户程序，看看 udp_sendmsg 是如何在内核中被调用的。

4. 通过 socket 发送网络数据

用户程序想发送 UDP 网络数据，因此它使用 sendto 系统调用：

ret = sendto（socket， buffer， buflen， 0， &dest， sizeof（dest））;

该系统调用穿过Linux 系统调用（system call）层，最后到达net/socket.c中的这个函数：

/*

* Send a datagram to a given address. We move the address into kernel

* space and check the user space data area is readable before invoking

* the protocol.

*/

SYSCALL_DEFINE6（sendto， int， fd， void __user *， buff， size_t， len，

unsigned int， flags， struct sockaddr __user *， addr，

int， addr_len）

{

/* 。。。 code 。。。 */

err = sock_sendmsg（sock， &msg， len）;

/* 。。。 code 。。。 */

}

SYSCALL_DEFINE6 宏会展开成一堆宏，后者经过一波复杂操作创建出一个带 6 个参数的系统调用（因此叫 DEFINE6）。作为结果之一，会看到内核中的所有系统调用都带 sys_前缀。

sendto 代码会先将数据整理成底层可以处理的格式，然后调用 sock_sendmsg。特别地， 它将传递给 sendto 的地址放到另一个变量（msg）中：

iov.iov_base = buff;

iov.iov_len = len;

msg.msg_name = NULL;

msg.msg_iov = &iov;

msg.msg_iovlen = 1;

msg.msg_control = NULL;

msg.msg_controllen = 0;

msg.msg_namelen = 0;

if （addr） {

err = move_addr_to_kernel（addr， addr_len， &address）;

if （err 《 0）

goto out_put;

msg.msg_name = （struct sockaddr *）&address;

msg.msg_namelen = addr_len;

}

这段代码将用户程序传入到内核的（存放待发送数据的）地址，作为 msg_name 字段嵌入到 struct msghdr 类型变量中。这和用户程序直接调用 sendmsg 而不是 sendto 发送数据差不多，这之所以可行，是因为 sendto 和 sendmsg 底层都会调用 sock_sendmsg。

4.1 sock_sendmsg， __sock_sendmsg， __sock_sendmsg_nosec

sock_sendmsg 做一些错误检查，然后调用__sock_sendmsg；后者做一些自己的错误检查 ，然后调用__sock_sendmsg_nosec。__sock_sendmsg_nosec 将数据传递到 socket 子系统的更深处：

static inline int __sock_sendmsg_nosec（struct kiocb *iocb， struct socket *sock，

struct msghdr *msg， size_t size）

{

struct sock_iocb *si = 。。。。

/* other code 。。。 */

return sock-》ops-》sendmsg（iocb， sock， msg， size）;

}

通过前面介绍的 socket 创建过程，可以知道注册到这里的 sendmsg 方法就是 inet_sendmsg。

4.2 inet_sendmsg

从名字可以猜到，这是 AF_INET 协议族提供的通用函数。此函数首先调用 sock_rps_record_flow 来记录最后一个处理该（数据所属的）flow 的 CPU; Receive Packet Steering 会用到这个信息。接下来，调用 socket 的协议类型（本例是 UDP）对应的 sendmsg 方法：

int inet_sendmsg（struct kiocb *iocb， struct socket *sock， struct msghdr *msg，

size_t size）

{

struct sock *sk = sock-》sk;

sock_rps_record_flow（sk）;

/* We may need to bind the socket. */

if （！inet_sk（sk）-》inet_num && ！sk-》sk_prot-》no_autobind && inet_autobind（sk））

return -EAGAIN;

return sk-》sk_prot-》sendmsg（iocb， sk， msg， size）;

}

EXPORT_SYMBOL（inet_sendmsg）;

本例是 UDP 协议，因此上面的 sk-》sk_prot-》sendmsg 指向的是之前看到的（通过 udp_prot 导出的）udp_sendmsg 函数。

sendmsg（）函数作为分界点，处理逻辑从 AF_INET 协议族通用处理转移到具体的 UDP 协议的处理。

5. 总结

了解Linux内核网络数据包发送的详细过程，有助于我们进行网络监控和调优。本文只分析了协议层的注册和通过 socket 发送数据的过程，数据在传输层和网络层的详细发送过程将在下一篇文章中分析。

参考链接：

［1］ https://blog.packagecloud.io/eng/2017/02/06/monitoring-tuning-linux-networking-stack-sending-data

［2］ https://segmentfault.com/a/1190000008926093