Per l'età tardo antica e medievale non si hanno notizie sul monumento; in un diploma di Agapito II del 955 viene menzionata la chiesa di S. Angelo de Agosto collocata in cacumine, ovvero su una montagnola che, secondo la leggenda, si era formata con la terra portata dai pellegrini; infatti, Augusto nel suo testamento aveva ordinato che ogni visitatore portasse dal suo paese una manciata di terra da deporre sulla sua tomba.

Le scarse testimonianze di epoca medievale descrivono l'area circostante il Mausoleo come una contrada semideserta, per lo più ricoperta da vigne, orti e campi.

Nel XII secolo sulle poderose vestigia del Mausoleo fu edificato, dai Colonna, un fortilizio che venne distrutto nel 1241.

Nel XIII secolo ebbe inizio una sistematica opera di spoliazione del monumento: i marmi vennero ridotti in calce dai calcararii o nel migliore dei casi utilizzati come materiali da costruzione o riutilizzati con gli scopi più vari; l'urna di Agrippina, ora nei Musei Capitolini, venne asportata dal Mausoleo e collocata nel mercato del Campidoglio, dove fu utilizzata come unità di misura per il grano.

Agli inizi del XVI secolo, a seguito del ripopolamento del rione e della nuova sistemazione urbanistica voluta da Leone X con la realizzazione della via Leonina, l'attuale via di Ripetta, nuove ricche dimore sorsero intorno al Mausoleo. Nella parte superiore del monumento venne allestito un giardino all'italiana adorno di statue e di sarcofagi adiacente al palazzo patrizio dei Soderini, nobile famiglia fiorentina.

Nel 1703, sotto Clemente XI, lo scalo di Ripetta fu definitivamente sistemato con la scenografica costruzione del Porto, ad opera di Alessandro Specchi. L'esedra che lo caratterizzava, aperta verso via Ripetta, aveva nella facciata della chiesa di S. Girolamo il suo fondale prospettico.