Юзать каналы?
Есть 5000 прокси, 300 горутин, которые отправляют запросы.
В каждом новом запросе должна быть новая прокся, если запрос отправлен неуспешно (дохлая прокси, тайм-аут или блокировка на ресурсе)
Нужно ставить статус (recheck) возвращать её в канал и брать новую.
Поделитесь мыслями реализации пожалуйста.
Выглядит как способ рассылать спам
ни в коем случае! скорее всего этот милорд из КНДР
Судя по всему ты этим только и занимаешься, если данная реализация для тебя нацелена только на спам.
Напрашивается 2 вариант: 1. Описываешь структуру с прокси и свойством correct, допустим proxy, вторую допустим proxylist которая по сути будет слайс proxy, у proxylist делаешь методы get(), setStatus() все за мьютексами. 2. Канал с буфером равным количествугорутин. Одна горутина которая будет в канал класть прокси из файла например, но тогда вопрос, а что делать когда закончатся прокси, переиспользовать? Короче всяко можно
Спасибо! Я думаю если заканчиваются прокси, брать прокси которые были в использовании и пробовать делать коннект ещё раз.
А какой у вас сценарий использования 5тыс прокси?
Не вижу смысла отчитываться перед такими как ты.
Никакого мьютекса, тормоза.
Геморрой, чекаешь все прокси, потом этот список используешь. Это не гарантирует конечно, но уже лучше.
1. У меня более 15000 прокси, поставщик позволяет. 5000 условная цифра. 2. Все запросы направлены не на один ресурс, а на много ресурсов, парсинг данных. 3. Чекать под конкретный сайт не получится, ибо прокся может быть заблокирована во время чека.
Обсуждают сегодня