Construida en el siglo XV por D. Pedro López de Ayala, canciller y cronista de las Guerras de Castilla.
Posteriormente fue adquirida por los Caballeros del Linaje de la Hoz, que, según cuentan llenaron la fachada de sillares de granito tallados en punta de diamante, pata evitar que siguieran llamándola "la Casa del Judío". Este detalle proporciona un aspecto diferente a la fachada de la casa dependiendo del momento del día.
En la portada se puede apreciar un arco de medio punto, de grandes dovelas que figura en la clave. Sobre los balcones se puede ver un sencillo escudo que recuerda el Linaje de la Hoz, propietarios de la casa.
La concepción de la Casa de los Picos se le atribuye al arquitecto Juan Guas, por darse en algunas de sus obras el detalle de los picos de granito en forma de punta de diamante.
Tiene un patio renacentista y sus salas interiores hoy se utilizan como aulas y talleres para la Escuela de Artes Aplicadas y Oficios Artísticos.
El zaguán y el patio son los lugares del interior que poseen un mayor encanto, ya que están decorados con azulejos talaverescos reproduciendo los más importantes monumentos segovianos.
En 1883 se derribó una puerta que estaba junto a la Casa de los Picos, llamada por los segovianos como la Puerta de San Martín. Era la principal de la ciudad y antes de pasar por ella, príncipes y reyes debían de acatar, jurando, los fueros y las leyes de la ciudad de Segovia.