Pegando a la provincia de Madrid pero desde la de Segovia y al resguardo de la montaña, La granja de San Íldefonso fue elegida  por distintos reyes como lugar de asueto. Ya comenzó con Enrique IV que edificó una ermita y un pabellón de caza.  Los Reyes Católicos también lo tuvieron entre sus preferencías  y es posible que tras el descubrimiento de América se comenzara a platar distintas especies en la localidad para deleite de los reyes y especialmente afortunado fue el cultivo de la alubia que llamamos judión ya que el clima de de municipio se adaptaba perfectamente. Los siglos de cultivos y selección hizo que la variedad de judia que se cultiva resulte única. Otras fuentes apuntan que se fue introducido  en La Granja por jardineros franceses en el siglo XVIII para alimentar a los animales. La tradición popular lo atribuye a Isabel de Farnesio que pensó que era buen alimento para sus faisanes.

Cabría destacar  que los origenes de La Granja no son del todo claros pero si se sabe que ya exitía una presa donde hoy tenemos el palacio que surtia de agua al acueducto para saciar la sed de los segovianos. Y ya que mencionamos el palacio es quizás el edificio más destacado de la población por sus dimensiones y por su riqueza interior. En el siglo XVIII es al rey Felipe V a quien se debe la construcción del Palacio Real de San Ildefonso. Este rey de origen francés añoraba los palacios de Versalles, por lo que en 1721 mando construir este maravilloso edificio, regalándolo de gran lujo, de estilo afrancesado como la moda del momento.