Prințesa Irmingard de Bavaria s-a născut pe 29 mai 1923 la reședința familiei, Palatul Berchtesgaden, fiind fiica lui Rupert, Prinț Moștenitor de Bavaria, și a celei de-a doua soții a acestuia, Prințesa Antonia de Luxemburg, și sora vitregă a lui Albrecht, Duce de Bavaria.
Fetița și-a petrecut copilăria între Berchtesgaden și celelalte reședințe ale părinților, Palatul Leuchtenberg din München, Palatul Leutstetten și Palatul Hohenschwangau și în 1936 a fost trimisă în Anglia pentru a fi educată la Convent of the Sacred Heart din Roehampton, mai târziu Școala Woldingham, unde au fost înscrise multe prințese de Luxemburg.
La începutul anului 1940, Irmingard și frații ei au fost lăsați să meargă în Italia și să li se alăture tatălui lor, Rupert, care părăsise Germania în decembrie 1939. Exilul prințului începuse imediat după confiscarea Palatului Leutstetten de către naziști și la început acesta a fost oaspete al regelui Victor Emanuel al III-lea al Italiei, locuind în special la Florența, apoi familia și-a petrecut următorii ani ai războiului la Roma și Padova.
În octombrie 1944, când Germania a ocupat Ungaria, soția lui Rupert și copiii au fost arestați și duși în lagărul de concentrare Sachsenhausen, dar aici Irmingard s-a îmbolnăvit de tifos și a fost transferată pentru un timp la un spital penitenciar din Innsbruck. Când s-a vindecat, prințesa a fost trimisă înapoi în lagăr unde s-a reîntâlnit cu ceilalți membri ai familiei sale și mai târziu toți au fost transferați în lagărele de concentrare de la Flosenbürg și Dachau unde au stat până când pe 30 aprilie 1945.
După aceea Irmingard și surorile ei s-au refugiat în Luxemburg, unde regină era sora mamei lor, Marea Ducesă Charlotte, apoi prințesa a plecat în Statele Unite pentru un an, unde unchiul ei, Prințul Adolf de Schwarzenberg, se stabilise la o fermă în Montana. Mama ei, prințesa Antonia, nu și-a revenit niciodată complet după traumele suferite în timpul detenției și a murit câțiva ani mai târziu în Elveția, la vârsta de 54 de ani, după ce a promis că nu se va întoarce niciodată în Germania după calvarul îndurat. A fost îngropată la Roma, dar inima ei a fost dusă, în conformitate cu tradiția Wittelsbach, la Gnadenkapelle Altötting.
Pe 20 iulie 1950, prințesa Irmingard s-a căsătorit cu vărul ei primar, Prințul Ludwig, fiul Prințului Franz de Bavaria și al Prințesei Isabella Antonie de Croÿ. Cununia civilă a avut loc la Leutstetten, iar ceremonia religioasă a fost organizată o zi mai târziu la Palatul Nymphenburg din München. Cuplul a avut trei copii, cinci nepoți și patru strănepoți, ducând o existență extrem de discretă. După moartea tatălui ei în 1955, Irmingard s-a mutat la Palatul Leutstetten, unde a locuit până la moartea ei, pe 23 octombrie 2010.
