En estos casos, lo primero es revisar el contrato de compraventa que firmaste en su día.
Si ahí no pone nada relacionado a las condiciones para la devolución de las cantidades entregadas en caso de renuncia, procede a enviarles una carta certificada o burofax dejando constancia de tu renuncia a la vivienda y exigiendo la devolución, no tiene sentido alguno lo que te dicen.
Lo que comentas, se suele hacer en cooperativas cuando tienes una opción de compra, pero no en vivienda libre, no sé cual es tu caso.
Te puedes informar legalmente, acudiendo a la oficina del OMIC que te corresponda según donde vivas, +info.:
http://consumo-inc.es/directorio/interior/omic/omic.htm No permitas que abusen, exige la devolución del dinero cuanto antes, muchos tienen problemas de liquidez.