Villa Olmo deve il suo nome a un magnifico olmo più che centenario, oggi non più esistente. Di stile Neoclassico, venne fatta edificare dal marchese Innocenzo Odescalchi, la cui famiglia aveva dato i natali a Papa Innocenzo XI (1676-1689). La costruzione della villa iniziò nel 1782 e venne ultimata nel 1797. Direttore ai lavori fu Simone Cantoni, noto architetto ticinese, che elaborò il progetto originale stilato dal suo coetaneo Innocenzo Regazzoni. Poco dopo il termine dei lavori iniziarono le visite storiche, tra le quali si ricordano quella di Napoleone Bonaparte nel 1797 e Ugo Foscolo nel 1808.
Con la morte di Innocenzo Odescalchi, nel 1824, la villa passò alla famiglia Raimondi, che sistemò il piazzale antistante il fabbricato. Nel 1835 fu teatro dell'incontro tra la regina delle due Sicilie e la regina di Sardegna e, successivamente, di altre visite importanti come quelle degli imperatori d'Austria Francesco Ferdinando I e Maria Carolina, del principe di Metternich, del maresciallo Radetzsky e di Giuseppe Garibaldi, il cui passaggio è segnato da un piccolo medaglione su un caminetto di uno dei salotti al pian terreno.
Nel 1883 gli eredi del marchese Raimondi vendettero la villa al duca Guido Visconti di Modrone, che decise di effettuare interventi di restauro, anche all'interno del fabbricato, tra cui la costruzione, nel 1883, del teatrino.
Nel 1924 la villa passò dai Visconti di Modrone al Comune di Como e, negli anni a seguire, fece da sfondo a molti eventi a manifestazioni, tra cui, nel 1927, l'Esposizione Internazionale, nel primo centenario della morte di Alessandro Volta.
