Como faço um webscrapping que sempre atualiza o banco de dados

Olá, estou fazendo um projeto onde:

  • Frontend (javascript): exibe os dados da minha API
  • Backend (django): De um webscraping cria-se uma API

E eu preciso que ele fique sempre atualizando o banco de dados da api, com o webscrapping, talvez em 5min em 5min, eu preciso que seja de forma automatica.

Eu aceito qualquer sugestão de fazer isso. Hoje eu tenho um script dentro de management/commands/scrapy.py

Onde eu preciso executar ele no terminal para que ele insira os dados, também é nescessario que ele faça uma checagem se o dado já é existente sla. Eu não sei como fazer isso ;-;

class Command(BaseCommand):
    def handle(self, *args, **kwargs):

        times_response = req.get(URL_TIMES, headers=HEADERS)

        for time_data in times_response.json():
            time, _ = Time.objects.get_or_create(
                name=time_data['name'],
                club_name=time_data['club']['name'],
                club_shortname=time_data['club']['shortName'],
                abbr=time_data['club']['abbr'],
                estadio=time_data['grounds'][0]['name'],
                cidade=time_data['grounds'][0]['city']
            )

Olha, vc pode fazer um if , com o get do django comparando o dado que vc quer inserir com o resultado da busca, tipo:

if Clubs.objects.filter(name = name).exists():
     return 'Esse dado já existe no banco de dados'

tô fazendo por cima, então pode haver algum erro sintático mas, por lógica, eu faria dessa forma

Espero ter ajudado!