El municipio se encuentra en el margen derecho del río Tajo. El nombre del pueblo se debe a la abundancia de olivares que hay en sus alrededores. Es una villa que fue construida en un lugar abierto y cómodo, tras la reconquista de esta comarca por los árabes. En un principio El Olivar fue propiedad de la tierra del común de Atienza, por cuyo fuero se rigió, pasando más tarde a formar parte del sexmo de Durón. Allí estuvo en poder de las familias de los Carrillo y de los Mendoza, hasta la abolición de los señoríos en el siglo XIX.
El Olivar es un pueblo que se encuentra actualmente muy bien conservado, con casas uniformes de piedra caliza. Es referente de una reconstrucción bien hecha, parece de diseño y se nota que es un pueblo con mucha vida, que lo hace muy atractivo.
