Urodził się 7 kwietnia 1949 r. w Kupieninie na terenie parafii Mędrzechów w diecezji tarnowskiej. Rodzicami jego byli Stanisław i Maria z domu Nowakowska.
W Mędrzechowie uczęszczał do szkoły podstawowej, z kolei liceum ogólnokształcące ukończył w Dąbrowie Tarnowskiej w 1967 r. Następnie wstąpił do Wyższego Seminarium Duchownego w Tarnowie, które ukończył przyjmując w Tarnowie 27 maja 1973 r. święcenia kapłańskie z rąk bp. Jerzego Ablewicza, ordynariusza tarnowskiego.
Po święceniach został mianowany wikariuszem parafii pw. św. Elżbiety w Starym Sączu. W roku 1975 skierowany został na studia specjalistyczne z zakresu teologii dogmatycznej w Katolickim Uniwersytecie Lubelskim. Tam uzyskał licencjat z teologii pod tytułem „Pneumatologiczny wymiar Konstytucji dogmatycznej «Lumen gentium»”. Następnie, zgodnie z wolą biskupa tarnowskiego J. Ablewicza, kontynuował studia w Innsbrucku w Austrii. Wyjazd ten opóźnił się ze względu na fakt, że władze państwowe nie chciały wydać mu paszportu, uzależniając pozytywne załatwienie sprawy od zgody na współpracę. Ks. Z. Zimowski zdecydowanie wyrażał sprzeciw wobec takiej praktyki. O determinacji i złośliwości władz świadczy fakt, że dwanaście razy zgłaszał się po odbiór paszportu. W Innsbrucku słuchał między innymi wykładów emerytowanego już wtedy profesora, jezuity ks. Karla Rahnera. Ostatecznie ten etap studiów zakończył w roku 1982 uzyskując doktorat z teologii dogmatycznej na fakultecie teologicznym Uniwersytetu Leopolda Franciszka. Tytuł rozprawy doktorskiej napisanej pod kierunkiem ks. prof. Raymunda Schwagera brzmiał: „Einfluβ der östlichen Bischöfen auf Theologie «der Lumen gentium»” („Wpływ Biskupów Kościołów Wschodnich na teologię «Lumen gentium»”).
Od 1 lutego 1983 r. rozpoczął pracę w watykańskiej Kongregacji Nauki Wiary. Warto zaznaczyć, że prefektem tej dykasterii był kard. Joseph Ratzinger. Pracując w urzędzie watykańskim ks. Zimowski angażował się też w latach 1983-1990 w pracę duszpasterską w rzymskiej parafii pw. Matki Bożej Dobrej Rady. Od roku 1991 pełnił posługę kapelana w Domu Macierzystym Sióstr Benedyktynek Wynagradzających Najświętszemu Obliczu Chrystusa Pana w Bassano Romano. 14 kwietnia 1988 r. ks. Zimowski został kapelanem Jego Świątobliwości, a 10 lipca 1999 r. obdarzono go godnością prałata honorowego.
W czasie pracy w Watykanie ks. Zimowski był postulatorem w Kongregacji do Spraw Kanonizacyjnych przy procesach Karoliny Kózkówny i ks. Romana Sitki – z diecezji tarnowskiej, jak też Marii Julitty Ritz – z diecezji Würzburg w Niemczech. Podejmował też prace nad przygotowaniem „Katechizmu Kościoła Katolickiego”, zwłaszcza jego polskiego wydania, jak też współpracował z Radiem Watykańskim. Ks. Zimowski podjął starania, by w rodzinnym Kupieninie powstał Dom Radosnej Starości im. Jana Pawła II i kaplica pw. Świętych Apostołów Piotra i Pawła. W domu tym schronienie może znaleźć 75 osób.
Biskupem radomskim został mianowany przez Jana Pawła II w Wielki Czwartek 28 marca 2002 r. Nominacja ta została ogłoszona w Rzymie – i jednocześnie w radomskiej katedrze. Po raz pierwszy przybył do swej nowej diecezji i przebywał w niej w dniach 10-12 kwietnia. Nawiedził miejsce tragicznej śmierci swego poprzednika, bpa Jana Chrapka, modlił się przy jego grobie, spotkał się z pracownikami kurii i seminarium duchownego, był też między innymi w Błotnicy, Jedlińsku, Skarżysku-Kamiennej i Kałkowie. Uroczysta konsekracja biskupia i ingres odbyły się 25 maja 2002 r. w radomskiej katedrze. Głównym konsekratorem był kard. Joseph Ratzinger, dzisiejszy papież Benedykt XVI. Współkonsekratorami byli: abp Józef Kowalczyk i bp Edward Materski (biskup senior). W homilii kard. Józef Glemp, prymas Polski zaznaczył, że uroczystość udzielenia sakry biskupiej bp. Zimowskiemu jest pierwszą konsekracją biskupią w Polsce w XXI wieku. Hasłem posługi pasterskiej bp. Zygmunta Zimowskiego są słowa „Non ministrari sed ministrare” – „Nie przyszedłem, aby mi służono, lecz aby służyć”.
Jako biskup radomski przygotował koronację obrazu Matki Bożej Ostrobramskiej w Skarżysku-Kamiennej i Matki Bożej Bolesnej w Kałkowie-Godowie.
Biskupi zebrani na 318. Zebraniu Plenarnym Episkopatu Polski wybrali bp. Z. Zimowskiego członkiem Rady do Spraw Ekumenizmu Konferencji Episkopatu Polski, natomiast na 320. Zebraniu Plenarnym Konferencji Episkopatu Polski wybrany został przewodniczącym Komisji Nauki Wiary konferencji.
Od października 2007 r. był członkiem Rady Stałej Konferencji Episkopatu Polski. Od 6 marca 2008 r. do 26 listopada 2009 r. pełnił funkcję delegata Konferencji Episkopatu Polski ds. Duszpasterstwa Emigracji.
30 czerwca 2008 r. otrzymał doktorat honoris causa Chrześcijańskiej Akademii Teologicznej w Warszawie. 9 listopada 2008 roku odznaczony przez Prezydenta RP, Lecha Kaczyńskiego Krzyżem Kawalerskim Orderu Odrodzenia Polski za zaangażowanie na rzecz ratowania żydowskich zabytków cmentarnych.
18 kwietnia 2009 r. papież Benedykt XVI mianował bp. Zygmunta Zimowskiego przewodniczącym Papieskiej Rady ds. Duszpasterstwa Chorych i Służby Zdrowia, wynosząc go równocześnie do godności arcybiskupiej i zwalniając z posługi biskupiej w Radomiu.
4 maja 2011 Benedykt XVI włączył go do gremium członków Kongregacji Spraw Kanonizacyjnych, a 28 lipca 2012 Kongregacji ds. Biskupów.
Od 2014 r. abp Zimowski zmagał się z chorobą nowotworową. Ostatnie dni przebywał w szpitalu w Dąbrowie Tarnowskiej, gdzie zmarł 12 lipca 2016 r. ok. 23.50.
