La Casa de Alba se instala en Loeches a través del conde-duque de Olivares, Gaspar de Guzmán de Pimentel, valido del rey Felipe IV, que muere en desgracia política y sin sucesión (1645). Se empieza a construir en 1635 por Alonso Carbonel. Este fue el mismo arquitecto que hizo el palacio de la Zarzuela.