Olá, estou fazendo um projeto onde:
- Frontend (javascript): exibe os dados da minha API
- Backend (django): De um webscraping cria-se uma API
E eu preciso que ele fique sempre atualizando o banco de dados da api, com o webscrapping, talvez em 5min em 5min, eu preciso que seja de forma automatica.
Eu aceito qualquer sugestão de fazer isso. Hoje eu tenho um script dentro de management/commands/scrapy.py
Onde eu preciso executar ele no terminal para que ele insira os dados, também é nescessario que ele faça uma checagem se o dado já é existente sla. Eu não sei como fazer isso ;-;
class Command(BaseCommand):
def handle(self, *args, **kwargs):
times_response = req.get(URL_TIMES, headers=HEADERS)
for time_data in times_response.json():
time, _ = Time.objects.get_or_create(
name=time_data['name'],
club_name=time_data['club']['name'],
club_shortname=time_data['club']['shortName'],
abbr=time_data['club']['abbr'],
estadio=time_data['grounds'][0]['name'],
cidade=time_data['grounds'][0]['city']
)