NO, negarse, no puede. Si UD junto a su pediatra consideran que esto puede afectar al bebe, debe de acudir a la justicia para que demore la obra, acuda a un letrado para que estudie posibilidades.
Una solución sería abandonar temporalmente el domicilio y trasladarse al alquiler durante el tiempo que dure la obra.