как реализовать параллельное скачивание только по N штук ?
Канал с фиксированным размером?
Канал, который сосут N горутин
Да я вокруг да около этого хожу, не знаю пока как правильно применить)
https://pkg.go.dev/golang.org/x/sync/errgroup#example-Group-Parallel
Немного кака кода https://github.com/alekseysychev/go-otus/blob/master/hw05_parallel_execution/run.go
А чего думать, это ж классика го. Одна рутина просто подряд пушит в канал, N разбирают. (я б накидал пример, но я за рулём уже...)
Можно что-то типо такого, поправьте, если что-то неправильно type Cfs struct { wg *sync.WaitGroup cLink string } func WorkerPool(work chan *Cfs, query chan *Cfs) { for { case q := <-query: work <-q } } func CreateWorker(work chan *Cfs) { for { case wrk := <-work: DownloadFile(wrk) (*wrk).wg.Done() } } func main() { workers := 100 queryCh := make(chan *Cfs, workers * 2) workCh := make(chan *Cfs, workers) for i := 0; i < workers; i++ { for j := 0; j < 2; j++ { go WorkerPool(workCh, queryCh) } go CreateWorker(workCh) } wgp := sync.WaitGroup links := []string{"https://123.com","https://456.com"} for link := range links { wgp.Add(1) cfs := Cfs{ wg: wgp, cLink: link, } query<- &cfs } wg.Wait() }
wgp := make(sync.WaitGroup) ?
Я просто кейс накинул от руки
а теперь внимание вопрос: что будет с селектом если канал закроется? :)
наоборот, вечная паника)
зависит от селекта
я про этот case wrk := <-work: DownloadFile(wrk) (*wrk).wg.Done() }
с семафором, кажется будет намного проще выглядеть
с https://pkg.go.dev/golang.org/x/sync/semaphore и https://pkg.go.dev/golang.org/x/sync/errgroup будет ну очень просто
в этом же и смысл?! :)
Как-то можно таким образом сделать? https://play.golang.org/p/DBSVuAsgNIj поставить на удержание, как поставлено в на 49 строке, в данном коде выполниться только 3 итерации)
Вы там запускаете wg.Wait перед wg.Done, идея так се
Ну когда вы забьёте буфферезированный канал работой, он будет ждать пока место в канале не освободится и в данном случае main Ф-ция заблокируется и будет ждать, пока место освободится. И зачем обязательно по 3 скачивать?
Обсуждают сегодня