La verdad es que no estoy muy puesta en temas de hacienda, pero tendrias que ver si lo que te puedes desgrabar en hacienda, es más o menos dinero que lo que tu pagas de intereses al banco a lo largo del año. Calculo que en intereses por 20000€ al 4% a lo largo de un año pagais unos 1500€ aproximadamente.
Yo soy de la opinion que cuantos menos préstamos tenga uno, mejor, pero cada uno tendrá su opinión.
Si decides cambiarte de banco, mi consejo es que mires Banesto que da un euribor + 0.39 y paga los gastos de la subrogación (no se si habrá algún banco con un interés menor)