Молю о помощи собирали кластер в vcloud на rke2 и cilium pod-to-pod

Question

Молю о помощи собирали кластер в vcloud на rke2 и cilium pod-to-pod

коммуникация не завелась для разных нод

с дебагом eBPF не справились
поставили rke2 уже с canal
подумали уж с iptable справимся

pod-to-pod с разных нод так же не заработало
tcpdump ничего внятного не показывал
11:52:48.756081 IP 10.120.1.8.47255 > 10.120.2.3.http-alt: Flags [S], seq 1418824911, win 65495, options [mss 65495,sackOK,TS val 3948507039 ecr 0,nop,wscale 7], length 0
11:53:00.796734 IP 10.120.1.8.1205 > 10.120.2.3.http-alt: Flags [S], seq 1416735607, win 65495, options [mss 65495,sackOK,TS val 3948519080 ecr 0,nop,wscale 7], length 0
11:53:01.817233 IP 10.120.1.8.1205 > 10.120.2.3.http-alt: Flags [S], seq 1416735607, win 65495, options [mss 65495,sackOK,TS val 3948520100 ecr 0,nop,wscale 7], length 0
3 packets captured
3 packets received by filter
0 packets dropped by kernel

pwru от cilium показало, что пакеты таки SKB_DROP_REASON_NETFILTER_DROP

нашли где происходит drop
добавили log
chain cali-tw-cali3c74c8a0a62 {
ct state related,established counter packets 25 bytes 1565 accept
ct state invalid counter packets 17 bytes 1020 log drop

яснее не стало

сравнили отправленный и полученный пакеты
>>> нашли поломанный UDP checksum

отключили проверки по советам из github issue для calico и rke2
sudo ethtool -K flannel.1 tx-checksum-ip-generic off

сделали в поде`curl 10.120.2.3:8080`
пакет прошел netfilter
16:20:28.537184 flannel.1 In IP 10.120.1.8.33030 > 10.120.2.3.8080: Flags [S], seq 2910167218, win 64860, options [mss 1410,sackOK,TS val 2256965700 ecr 0,nop,wscale 7], length 0
16:20:28.537281 cali3c74c8a0a62 Out IP 10.120.1.8.33030 > 10.120.2.3.8080: Flags [S], seq 2910167218, win 64860, options [mss 1410,sackOK,TS val 2256965700 ecr 0,nop,wscale 7], length 0
смотрим на другой стороне
16:30:14.837364 eth0 In IP 10.120.1.8.49314 > 10.120.2.3.8080: Flags [S], seq 3382230470, win 64860, options [mss 1410,sackOK,TS val 2257552000 ecr 0,nop,wscale 7], length 0
16:30:15.865681 eth0 In IP 10.120.1.8.49314 > 10.120.2.3.8080: Flags [S], seq 3382230470, win 64860, options [mss 1410,sackOK,TS val 2257553028 ecr 0,nop,wscale 7], length 0
16:30:17.881641 eth0 In IP 10.120.1.8.49314 > 10.120.2.3.8080: Flags [S], seq 3382230470, win 64860, options [mss 1410,sackOK,TS val 2257555044 ecr 0,nop,wscale 7], length 0
>>> и больше ничего

если сделать на другой ноде curl 10.20.6.132:32651 (NodePort)
то все работает
16:23:21.436224 eth0 In IP 10.20.6.132.44665 > 10.120.2.3.8080: Flags [S], seq 246742171, win 64240, options [mss 1460,sackOK,TS val 1936130238 ecr 0,nop,wscale 7], length 0
16:23:21.436250 eth0 Out IP 10.120.2.3.8080 > 10.20.6.132.44665: Flags [S.], seq 2660896529, ack 246742172, win 64308, options [mss 1410,sackOK,TS val 3177117024 ecr 1936130238,nop,wscale 7], length 0

что ему может не нравится уже в контейнере?
внутри контейнера вот это
root@rke2-worker-1:/home/ubuntu# netstat -ntlup
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp6 0 0 :::8080 :::* LISTEN 2119/echo-server