Comment empêcher les articles d'être imprimés deux fois avec BeautifulSoup

Question

J'essaie d'imprimer chaque lien d'article de ce site web et les liens d'article s'impriment deux fois et seulement 5 d'entre eux.

J'ai essayé d'augmenter ma plage à (1,20), ce qui a permis d'imprimer les dix liens d'articles, mais chacun d'entre eux deux fois.

from bs4 import BeautifulSoup
from urllib.request import urlopen

url = urlopen("https://www.politico.com/newsletters/playbook/archive")
target = 'C:/Users/k/Politico/pol.csv'

content = url.read()

soup = BeautifulSoup(content,"lxml")

for article in range (1,10):
    #Prints each article's link and saves to csv file
    print(soup('article')[article]('a',{'target':'_top'}))

Je m'attends à ce que le résultat soit constitué de 10 liens d'articles dont aucun ne se répète.

Answer 1

Vous pouvez utiliser le sélecteur css .front-list h3 > a

import requests
from bs4 import BeautifulSoup as bs

r = requests.get('https://www.politico.com/newsletters/playbook/archive#')
soup = bs(r.content, 'lxml')
links = [link['href'] for link in soup.select('.front-list h3 > a')]
print(links)

Answer 2

Essayez d'imprimer votre soupe et voyez comment, à chaque itération, il y a 2 liens qui sont les mêmes. Par conséquent, elle s'imprime deux fois.

prendre un set et mettre tous les str(data)

a = set()
for article in range (1,20):
    a.add((str(soup('article')[article]('a',{'target':'_top'}))))

print(a)

Answer 3

Vous pouvez utiliser la méthode ci-dessous, qui fonctionne à merveille.

from bs4 import BeautifulSoup
from urllib.request import urlopen

url = urlopen("https://www.politico.com/newsletters/playbook/archive")
target = 'C:/Users/k/Politico/pol.csv'
content = url.read()
soup = BeautifulSoup(content,"lxml")

articles = soup.findAll('article', attrs={'class':'story-frag format-l'})

for article in articles:
    link = article.find('a', attrs={'target':'_top'}).get('href')
    print(link)

Le résultat attendu est le suivant