flannel 原理

2022-10-20

Flannel地址：https://github.com/coreos/flannel

简介

Flannel 由CoreOS开发，用于解决docker集群跨主机通讯的覆盖网络(overlay network)，它的主要思路是：预先留出一个网段，每个主机使用其中一部分，然后每个容器被分配不同的ip；让所有的容器认为大家在同一个直连的网络，底层通过UDP/VxLAN/Host-GW等进行报文的封装和转发。

Flannel实质上是一种“覆盖网络(overlay network)”，也就是将TCP数据包装在另一种网络包里面进行路由转发和通信，目前已经支持UDP、VxLAN、AWS VPC和GCE路由等数据转发方式，默认的节点间数据通信方式是UDP转发。

原理

flannel

flannel会在每一个宿主机上运行名为flanneld代理，其负责为宿主机预先分配一个子网，并为Pod分配IP地址。Flannel使用Kubernetes或etcd来存储网络配置、分配的子网和主机公共IP等信息。数据包则通过VXLAN、UDP或host-gw这些类型的后端机制进行转发。

flannel在每个Node上启动了一个flanneld的服务，在flanneld启动后，将从etcd中读取配置信息，并请求获取子网的租约。所有Node上的flanneld都依赖etcd cluster来做集中配置服务，etcd保证了所有node上flanned所看到的配置是一致的。同时每个node上的flanned监听etcd上的数据变化，实时感知集群中node的变化。flanneld一旦获取子网租约、配置后端后，会将一些信息写入/run/flannel/subnet.env文件。

过程

  1. 源容器向目标容器发送数据，数据首先发送给docker0网桥

    在源容器内容查看路由信息：

    kubectl exec -it -p {Podid} -c {ContainerId} -- ip route

  2. docker0网桥接受到数据后，将其转交给flannel.1虚拟网卡处理

    docker0收到数据包后，docker0的内核栈处理程序会读取这个数据包的目标地址，根据目标地址将数据包发送给下一个路由节点

  3. flannel.1接受到数据后，对数据进行封装，并发给宿主机的eth0

    flannel.1收到数据后，flannelid会将数据包封装成二层以太包。

    Ethernet Header的信息：

    From:{源容器flannel.1虚拟网卡的MAC地址}
    To:{目录容器flannel.1虚拟网卡的MAC地址}

  4. 对在flannel路由节点封装后的数据，进行再封装后，转发给目标容器Node的eth0

    由于目前的数据包只是vxlan tunnel上的数据包，因此还不能在物理网络上进行传输。因此，需要将上述数据包再次进行封装，才能源容器节点传输到目标容器节点，这项工作在由linux内核来完成。

    Ethernet Header的信息：

    • From:{源容器Node节点网卡的MAC地址}
    • To:{目录容器Node节点网卡的MAC地址}

    IP Header的信息：

    • From:{源容器Node节点网卡的IP地址}
    • To:{目录容器Node节点网卡的IP地址}

    通过此次封装，就可以通过物理网络发送数据包。

  5. 目标容器宿主机的eth0接收到数据后，对数据包进行拆封，并转发给flannel.1虚拟网卡；

  6. flannel.1 虚拟网卡接受到数据，将数据发送给docker0网桥；

  7. 最后，数据到达目标容器，完成容器之间的数据通信。