Passignano era un villaggio etrusco. L'Abbazia, come racconta Padre Soldani nel suo libro "Storia Passignanese", fu fondata nell' 891 grazie alle fatiche di un uomo di nome Sichelmo.
Nel 1050 Giovanni Gualberto, fondatore dell'ordine Vallombrosiano, dette nuova vita alla Badia aumentando la sua influenza sulle chiese toscane. Nel XV secolo, Lorenzo Il Magnifico, dopo aver ottenuto il permesso del Papa, mandò tremila soldati contro i monaci ed occupò con la forza l'Abbazia a beneficio di suo figlio Giovanni.
Nel 1499 Giovanni, dopo essere diventato Papa con il nome di Leone X, rese l'Abbazia ai monaci in cambio di un considerevole tributo. I Vallombrosiani diventarono i soli proprietari fino a quando Napoleone confiscò tutta la loro proprietà.
Oggi i monaci sono tornati.
Ci sono molte opere d'arte nella Badia: la statua di Giovanni Gualberto di Giovanni Battista Caccini, dipinti di Domenico Cresti, conosciuto come "Passignano", affreschi di Alessandro Allori e Ghirlandaio. L'ultima opera è la bellissima "Ultima cena" nel refettorio.
Sulla facciata della casa, incastonato nel muro, si trova un antico bassorilievo in terracotta policroma raffigurante una Madonna con Bambino, di origine sconosciuta.