Lo que debe hacer es convocar junta extraordianaria explicando en ella a los vecinos porque debe cambiarse de administrador y someterlo a votación.
Puede no convocar al administrador para esta reunión y nombrar al principio de la misma un secretario provisional para que redacte el acta, si quiere que la gente vote de manera más libre.
Una vez firmada el acta ya es efectiva el cese, debe comunicarle al administrador su cese por burofax es lo mas conveniente o si no al menos con carta con acuse de recibo.
Si la decisión de cese está basada en un incumplimiento de sus funciones da igual el vencimiento de su contrato no deberian tener problema.
En este mismo foro tercero-d nos facilito estas sentencias que puede ver que le avalan
Cese del administrador de la Comunidad, sin derecho a indemnización, por incumplimientos graves Sentencia AP Madrid 27/1/2010
Cese del Administrador de Fincas por justa causa sin derecho a indemnización Sentencia AP La Coruña 21/11/2006
Cese del Administrador justificado por incumplimiento de sus obligaciones Sentencia AP Murcia 7/11/2005
Mucha suerte y un saludo