Por ter conhecimento em data science faço muito a utilização do pandas para manusear tabelas com mais rapidez, acha que isso faz com que traga perca de performance no desenvolvimento dentro do flask/django?
A performance do seu script dataframe não será impactado.
O que impacta é toda o fluxo de comunicação entre o frontend e backend pois você está usando um servidor Web. Então tem a requisição do front, o recebimento da requisição no backend, a lógica até chegar no teu script e a resposta do backend para o frontend. Mas isso é inevitável quando você desenvolve um sistema web.
Dependendo do seu caso, se você busca o máximo de performance possível, você poderia dar uma olhada em FastAPI pois ele é mais performático do que o Django e o Flask.