Fue la familia Ovando la que lo mandó construir, pero habiendo entroncando con los Ulloa, fueron estos, los Condes de Adanero, los que lo heredaron a principios del siglo XX. Residiendo en él largas temporadas.Esta peculiar fachada caracterizada por grandes sillares almohadillados se realizó durante el siglo XVII siguiendo modelos manieristas italianos, en concreto del arquitecto italiano Sebastiano Serlio, aunando dos casas preexistentes.