Se trata de los restos del Palacio de don Pedro de Zúñiga, el cual obtuvo la villa de Aguilafuente en 1536, por compra al Obispado de Segovia, su anterior propietario. Los muros están fabricados en mampostería granítica de grandes dimensiones, reservando los sillares de piedra caliza para los bordes de los ventanales y las esquinas. Conserva aún parte de la muralla, de singular construcción, y ventanales adornados con motivos alegóricos al escudo heráldico de la casa de los Zúñiga. Se tiene constancia de que la antigua portada del palacio, hoy destruida, poseía un bello arco de herradura en ladrillo de influencia árabe.