170 похожих чатов

Как можно сделать, есть массив с тысячами строк с ссылками,

как реализовать параллельное скачивание только по N штук ?

22 ответов

19 просмотров

Канал с фиксированным размером?

Канал, который сосут N горутин

Aleksandr Batenev
Канал, который сосут N горутин

Да я вокруг да около этого хожу, не знаю пока как правильно применить)

https://pkg.go.dev/golang.org/x/sync/errgroup#example-Group-Parallel

🍗 𝓒ⅇℳℯ𝓗𝓫𝘭Ч🎲 🐲
Да я вокруг да около этого хожу, не знаю пока как ...

Немного кака кода https://github.com/alekseysychev/go-otus/blob/master/hw05_parallel_execution/run.go

🍗 𝓒ⅇℳℯ𝓗𝓫𝘭Ч🎲 🐲
Да я вокруг да около этого хожу, не знаю пока как ...

А чего думать, это ж классика го. Одна рутина просто подряд пушит в канал, N разбирают. (я б накидал пример, но я за рулём уже...)

Можно что-то типо такого, поправьте, если что-то неправильно type Cfs struct { wg *sync.WaitGroup cLink string } func WorkerPool(work chan *Cfs, query chan *Cfs) { for { case q := <-query: work <-q } } func CreateWorker(work chan *Cfs) { for { case wrk := <-work: DownloadFile(wrk) (*wrk).wg.Done() } } func main() { workers := 100 queryCh := make(chan *Cfs, workers * 2) workCh := make(chan *Cfs, workers) for i := 0; i < workers; i++ { for j := 0; j < 2; j++ { go WorkerPool(workCh, queryCh) } go CreateWorker(workCh) } wgp := sync.WaitGroup links := []string{"https://123.com","https://456.com"} for link := range links { wgp.Add(1) cfs := Cfs{ wg: wgp, cLink: link, } query<- &cfs } wg.Wait() }

🍗 𝓒ⅇℳℯ𝓗𝓫𝘭Ч🎲 🐲
wgp := make(sync.WaitGroup) ?

Я просто кейс накинул от руки

Web
Можно что-то типо такого, поправьте, если что-то н...

а теперь внимание вопрос: что будет с селектом если канал закроется? :)

c
вечный двигатель

наоборот, вечная паника)

c
зависит от селекта

я про этот case wrk := <-work: DownloadFile(wrk) (*wrk).wg.Done() }

Web
Можно что-то типо такого, поправьте, если что-то н...

с семафором, кажется будет намного проще выглядеть

Alexander Shavelev
с семафором, кажется будет намного проще выглядеть

с https://pkg.go.dev/golang.org/x/sync/semaphore и https://pkg.go.dev/golang.org/x/sync/errgroup будет ну очень просто

Web
Можно что-то типо такого, поправьте, если что-то н...

Как-то можно таким образом сделать? https://play.golang.org/p/DBSVuAsgNIj поставить на удержание, как поставлено в на 49 строке, в данном коде выполниться только 3 итерации)

🍗 𝓒ⅇℳℯ𝓗𝓫𝘭Ч🎲 🐲
Как-то можно таким образом сделать? https://play.g...

Ну когда вы забьёте буфферезированный канал работой, он будет ждать пока место в канале не освободится и в данном случае main Ф-ция заблокируется и будет ждать, пока место освободится. И зачем обязательно по 3 скачивать?

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта