Hola Babynat:
Yo te diría que te fijes en el Centro Deportivo Municipal La Masó (tfno. 91 739 75 55).
http://www.munimadrid.es/portal/site/munimadrid/menuitem.8b2184148b70b0aa7d245f019fc08a0c/?vgnextoid=15efe8ae8d81c010VgnVCM1000000b205a0aRCRD&vgnextchannel=fcd0ca1c5a057010VgnVCM100000dc0ca8c0RCRD Está muy cerca (en Mirasierra y con el autobús 134 que lo coges en Montecarmelo y te deja en la puerta), no es tan caro y está bastante bien, aunque como todo lo municipal, un poco masificado (sobre todo para apuntarse, luego muchas veces las clases están medio vacías...).
Si te das por allí una vuelta, verás en los tablones de anuncios de la entrada que el Club Natación Mirasierra también utiliza la instalación en unos determinados horarios, lo cual quizá también sea otra opción (no sé si para niños tan pequeños).
Saludos