Всем привет, помогите решить одну непростую для меня задачу. Я пишу

Question

Всем привет, помогите решить одну непростую для меня задачу. Я пишу

многопоточный массовый чекер сайтов, для того, чтобы многопоточно прочекать большое количество сайтов, арендовал сервак с гигабитным каналом, оперативка 10 гигов, двухядерный проц.
Запускаю чекер в 500 потоков, и через пару часов у меня наглухо отваливается интернет. Если же делать потоков меньше, например 300, то чекер может работать примерно до двух-трех дней, и потом снова валится интернет.
Сначала отваливаются DNS запросы (например curl google.com возвращает ошибку резолва), но доступ по IP адресам какое то время остается, чуть позже и он блокируется, и ничего даже не пингуется.
При этом, оперативка загружена только на 2 гигабайта, процессор тоже не особо сильно нагружен, в этом проблем нет.
Тогда я смотрю по соединениям, выполняю команду: netstat -an
Наблюдаю примерно 500 строк:
udp 424 0 [ip моего сервера]:47033 8.8.8.8:53 ESTABLISHED
И ещё 2к таких строк:
tcp 0 0 [ip моего сервера]:59762 69.195.124.212:80 TIME_WAIT
tcp 0 0 [ip моего сервера]:56414 185.53.178.9:80 TIME_WAIT
tcp 0 0 [ip моего сервера]:60152 23.227.38.32:80 TIME_WAIT
tcp 0 0 [ip моего сервера]:38132 192.185.46.252:80 TIME_WAIT
tcp 0 0 [ip моего сервера]:34556 198.185.159.145:80 TIME_WAIT
tcp 0 0 [ip моего сервера]:46732 185.53.179.29:80 TIME_WAIT
tcp 0 0 [ip моего сервера]:48050 216.117.5.132:80 TIME_WAIT

Впринципе, они в таком количестве и остаются. Один человек порекомендовал сделать NOTRACK для 53 порта через iptables, в итоге они просто в соединениях не отображались, а инет валился что с NOTRACK что без него.
Так-же я переустанавливал ОС, ставил вместо убунты центось, потом дебиан, но проблема остаётся на месте.
Других вариантов поиска проблемы я не знаю, буду признателен, если подскажете в какую сторону копать, сталкивался ли кто нибудь с подобной ситуацией при многопоточной работе какого нибудь парсера\чекера.
К примеру, если опять вырубится инет, кроме изучения соединений через netstat -an куда ещё можно заглянуть, и проверить в чем может быть беда? Или какие то иные отладочные действия сделать, чтобы найти причину.

#devops #linux #programming #russian

0

18.10.2018

1 ответов

20 просмотров

Stefan · Accepted Answer

Stefan

ты в htop то посмотри

0

18.10.2018

172 похожих чатов

Всем привет, помогите решить одну непростую для меня задачу. Я пишу

1 ответов

Похожие вопросы