Comment limiter Parallel.ForEach ?

Question

J'ai une boucle asynchrone Parallel.ForEach() avec laquelle je télécharge des pages web. Ma bande passante étant limitée, je ne peux télécharger que x pages à la fois, mais Parallel.ForEach exécute toute la liste des pages Web souhaitées.

Existe-t-il un moyen de limiter le nombre de threads ou toute autre limite lors de l'exécution de Parallel.ForEach ?

Code démo :

Parallel.ForEach(listOfWebpages, webpage => {
  Download(webpage);
});

La tâche réelle n'a rien à voir avec les pages web, c'est pourquoi les solutions créatives d'exploration du web ne seront d'aucune utilité.

Answer 1

Vous pouvez spécifier un MaxDegreeOfParallelism dans un ParallelOptions paramètre :

Parallel.ForEach(
    listOfWebpages,
    new ParallelOptions { MaxDegreeOfParallelism = 4 },
    webpage => { Download(webpage); }
);

MSDN : Parallel.ForEach

MSDN : ParallelOptions.MaxDegreeOfParallelism

Answer 2

Vous pouvez utiliser ParallelOptions et définir MaxDegreeOfParallelism pour limiter le nombre de threads simultanés :

Parallel.ForEach(
    listOfwebpages, 
    new ParallelOptions{MaxDegreeOfParallelism=2}, 
    webpage => {Download(webpage);});

Answer 3

Utilisez une autre surcharge de Parallel.Foreach qui prend un ParallelOptions et définir l'instance MaxDegreeOfParallelism pour limiter le nombre d'instances exécutées en parallèle.

Answer 4

Et pour les utilisateurs de VB.net (la syntaxe est bizarre et difficile à trouver)...

Parallel.ForEach(listOfWebpages, New ParallelOptions() With {.MaxDegreeOfParallelism = 8}, Sub(webpage)
......end sub)