En la temporada 2003/04, ya en el grupo II, el equipo acaba en quinta posición y no consigue clasificarse para la fase de ascenso, cosa que sí conseguiría en la temporada 2004/05. Con Fede Castaños en el banquillo, el equipo es eliminado en la primera eliminatoria del play off de ascenso por el Conquense. Es en esta temporada cuando Juanito, gana el premio a mejor jugador del año en Primera División, premio otorgado por la revista Don Balón.