En la dominación romana Chinchón se convirtió en un pueblo agrícola, aceptando su civilización, leyes y costumbres (hay datos del antiguo hallazgo de una lápida sepulcral romana que en el S.XVIII que servía de dintel a una puerta de una casa de la Plaza Mayor).

Posteriormente llegó la dominación árabe, a la cual estuvo sujeto durante tres siglos y medio. Durante dicha hegemonía árabe Chinchón perteneció al reino de Toledo. Con la conquista en 1060 por Fernando I El Magno y la reconquista posterior de Alfonso VI en 1083, el pueblo quedaría fuera del dominio musulmán y vinculado al Concejo de Segovia. 

Hasta 1480, momento en que se convierte en señorío concedido a los marqueses de Moya, Andrés Cabrera y Beatriz de Bobadilla, este territorio rendía cuentas a los concejos y arzobispados de Segovia y Toledo. Este reconocimiento fue otorgado por el apoyo militar a la causa Isabel en su lucha por el trono de castilla. Se le concedieron 1200 vasallos y un extenso territorio al sur de Segovia que tenía como epicentro la localidad de Chinchón. Fue entonces cuando se construyó el castillo de Chinchón, de estilo renacentista.