Le origini di questo Oratorio vanno collocate nel sistema delle "cassine" patrizie lombarde. I nobili Schiaffinati installatisi a Miradolo nel 1434 erano riusciti a costruire una notevole azienda agricola; all'inizio del 1600 la sua sede fu attrezzata a ridosso di quella dei Reyna, e durò nella sua funzione di "cassina nobiliare autosufficiente" per quasi quattro secoli fino al 1919.
L'Oratorio fu eretto nel 1670 e fu dedicato per decreto vescovile ai Santi Giuseppe, Gaetano, Francesco, Antonio da Padova, Ignazio di Lojola e il nobile Antonio Schiaffinati lo fornisce di una dote consistente in una casa con cascina, terreno irriguo ed un vigna detta "La Bernarda" dati in enfiteusi a Messer Francesco Bernardi.
Nel 1813 il conte Leopoldo Schiaffinati, muore e nomina erede universale di tutti i suoi averi l'Ospedale Maggiore di Milano. Il 10 ottobre 1866 l'Ospedale Maggiore cede la proprietà al Nobile Luigi De Lutti di Pavia
Il 19 agosto 1869 a seguito della legge 7/7/1866 sulla eversione della manomorta ecclesiastica, vengono rimossi i vincoli dei benefici con il risultato della sospensione delle celebrazioni religiose e della chiusura temporanea dell'Oratorio.
Nel 1919 il nobile Dott. Andrea de Lutti cede la proprietà al parroco di Miradolo, il quale procede alla vendita per lotti di tutto il complesso.
L'Oratorio perviene alla Famiglia Bossi, rimane aperto e officiato fino al 1946, curato dalla Sig.ra Gina Bossi che fa celebrare un'ultima messa nell'aprile di quell'anno. Poi viene sconsacrato. Tutto il contenuto viene donato alla Chiesa parrocchiale: la pietra santa, i reliquiari, le panche, i paramenti, i quadri, i vasi sacri, le due piccole campane sono acquisiti dal parroco Cremascoli. Nel 1980 la famiglia Bossi presenta un progetto per la ristrutturazione e l'utilizzo dell'edificio, ma interviene il Dipartimento delle Belle Arti che blocca tutto