Fue construido a finales del siglo XVII por Juan Fernández de Isla, que había sido obispo de Cádiz  y luego arzobispo de Burgos, restaurando  también la iglesia parroquial en la que funda su capilla funeraria. 

Se encuentra rodeado por una alta cerca almenada, jalonada por cubos circulares.

El edificio principal, de planta rectangular y dos alturas, muestra su fachada hacia el sur, con portada en arco carpanel entre pilastras rehundidas y balcón volado flanqueado por dos grandes blasones del arzobispo. Tras este  aparece otro edificio, de similar estructura y estilo, y al fondo, con forma de torre, la capilla privada.

Se encuentra situado en pleno Casco Histórico de Isla. No es visitable pues es de propiedad privada

​