170 похожих чатов

Добрый вечер всем! Кто может подсказать как реализовать пул проксей?

Юзать каналы?
Есть 5000 прокси, 300 горутин, которые отправляют запросы.
В каждом новом запросе должна быть новая прокся, если запрос отправлен неуспешно (дохлая прокси, тайм-аут или блокировка на ресурсе)
Нужно ставить статус (recheck) возвращать её в канал и брать новую.
Поделитесь мыслями реализации пожалуйста.

10 ответов

10 просмотров

Выглядит как способ рассылать спам

Roman Timofeev
Выглядит как способ рассылать спам

ни в коем случае! скорее всего этот милорд из КНДР

Igor- Автор вопроса

Судя по всему ты этим только и занимаешься, если данная реализация для тебя нацелена только на спам.

Напрашивается 2 вариант: 1. Описываешь структуру с прокси и свойством correct, допустим proxy, вторую допустим proxylist которая по сути будет слайс proxy, у proxylist делаешь методы get(), setStatus() все за мьютексами. 2. Канал с буфером равным количествугорутин. Одна горутина которая будет в канал класть прокси из файла например, но тогда вопрос, а что делать когда закончатся прокси, переиспользовать? Короче всяко можно

Igor- Автор вопроса
Артём Лазаренко
Напрашивается 2 вариант: 1. Описываешь структуру с...

Спасибо! Я думаю если заканчиваются прокси, брать прокси которые были в использовании и пробовать делать коннект ещё раз.

Igor
Судя по всему ты этим только и занимаешься, если д...

А какой у вас сценарий использования 5тыс прокси?

Igor- Автор вопроса
Roman Timofeev
А какой у вас сценарий использования 5тыс прокси?

Не вижу смысла отчитываться перед такими как ты.

Igor
Спасибо! Я думаю если заканчиваются прокси, брать ...

Геморрой, чекаешь все прокси, потом этот список используешь. Это не гарантирует конечно, но уже лучше.

Igor- Автор вопроса
🎄 Doe
Геморрой, чекаешь все прокси, потом этот список ис...

1. У меня более 15000 прокси, поставщик позволяет. 5000 условная цифра. 2. Все запросы направлены не на один ресурс, а на много ресурсов, парсинг данных. 3. Чекать под конкретный сайт не получится, ибо прокся может быть заблокирована во время чека.

Похожие вопросы

Обсуждают сегодня

Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
База данных не поможет. Шифрование не поможет. Какие там ещё варианты? Накидывайте.
КТ315
20
А как лучше конвертировать физический адрес в виртуальный при маппинге? В случае ядра у меня, например, direct mapping, первые 768МБ я как есть мапплю в higher half, а остальн...
Evg Resh
26
А табстоп это сообщение от окна или от элемента управления?
The Bird of Hermes
18
Открыл свой двухкилобайтный экзешник в x32dbg, а тут какая-то хрень. Смущает кнопка "выполнить до пользовательского кода", а что ещё может быть в файле помимо него ?
НѣкъиⰘижєжєиꙁъвьсєсвѣтьноѣсѣтиѥсть•
11
Вопрос тем кто смотрит видео и слушает подкасты - как вы потом ищете нужную вам информацию? Вот статью я прочитал, потом могу искать нужную мне часть банальным поиском. Пропус...
Aleksandr Druzhinin
4
Мне были интересны дишные хаки и я нашёл любопытный способ на форуме через __traits, что-то вроде int delegate(int) fac = (int n) => n == 0 ? 1 : n * __traits(parent, {})(n - ...
Constantin F.
1
Всем привет, подскажите/посоветуйте пожалуйста. Фаердак компоненты, имею одно место где бизнес хочет видеть при открытии формы список всех клиентов, это порядка 30к. Мои дово...
Sasha Sch
14
Ребят, если кто в курсе - скажите, а в загранке такое же засилье маркетплейсов? или там простые сермяжные интернет-магазины живут попроще?
Андрей [aharito] Харитонов
14
@FAssembler ты много с формами работал, как цикл обработки сообщений от окошек надо делать, чтобы IsDialogMessage не ломал ввод в эдиты и навигация по табам работала?
The Bird of Hermes
8
Карта сайта