Hz. Ebuzer, çok zahid birisiydi. Sade yaşantısında Hz. Resûlullah’a (s.a.a) uyuyordu. Hiçbir zaman dünya ve onun güzellikleri onu etkileyemedi. Resûlullah (s.a.a) onun zahidliği hakkında şöyle buyurdu: “İsa bin Meryem’in zahidliğini görmek isteyen, Ebuzer’in zahitliğine baksın.” (Tabakât–ı İbn–i Sa’d, c.4, s.228; ed–Derecârü’r–Rafia, s.231).
Bu hasleti bizzat Hz. Resûlullah’ın (s.a.a) zahidliğinin tesirinden elde etmişti. Kendisi Resûlullah’tan (s.a.a) şöyle nakletmektedir: “Kıyamet günü bana en yakın olanınız, dünya malına aldanmayanınız ve benim zamanımda olduğu gibi ölecek olanınızdır.” (Hilyetü’l–Evliyâ, c.1, s.162; Tabakât–ı İbn–i Sa’d, C.4, S.229).
Hz. Ebuzer’in yaşantısı, Resûlullah’tan (s.a.a) sonra Rebeze’de can verinceye kadar onun zahitliğine canlı bir şahittir.
Osman’ın halifelik döneminde İslam hükümetine servetler akıyordu. Bu nedenle Müslümanların durumu çok iyiydi. Bir grup dünya ve dünyanın ziynetlerine aldanmış kimseler köle, para, pul sahibi olmuşlardı. Bunların hiçbirisinde Hz. Ebuzer’in gözü yoktu. O, mal ve servetlerin gerçek sahiplerine ulaşması için çalışıyordu. Osman’ın Beytü’l–mal’ı kendi yakınlarına peşkeş çektiğini görünce onu şiddetle eleştirmeye başladı. Osman, ona bir şeyler vermekle susturacağını sanıyordu. Onun için 200 dinar ayırıp iki kölesiyle Hz. Ebuzer’e yolladı. Ebuzer, kölelere sordu: “Osman aynı şekilde diğer Müslümanlara da verdi mi?” “Hayır” dedi. “Ben de onlardan birisiyim. Eğer bir şey onların arasında taksim olunursa bana da ulaşır; yoksa asla kabul etmem!” buyurdu. Köle, “Halife, bu parayı kendi şahsi malından verdi ve asla haram karışmamıştır” dedi. Ebuzer, “Ben şimdilik bu paraya muhtaç değilim. Şu anda hiç ihtiyacı olmayan birisiyim” dedi. “Biz senin evinde hiçbir şey görmüyoruz. Sen nasıl hiçbir şeye muhtaç olmadığını söylersin?” “Benim şu gördüğünüz cübbemin altında kaç günden kalma iki parça ekmeğim var. Acıkırsam bundan birkaç lokma yer ve onunla yetinirim. Böyle dinarlara ihtiyacım kalmaz. Bu paraları Osman’ın kendisine verin ve ona şöyle söyleyin: Bu paralara benim ihtiyacım yok. Halkın muhakemesi seninle benim aramızda kalsın. Adil olan Allah, kıyamet günü hakiki hâkimliği yapacaktır.” (Ricâl–î Keşşî, s.30; Kâmusu’r–Ricâl, c.2, s.448; ed–Derecâtu’r–Rafia, s.241).
O, fevkalade zahidliğinin yanısıra, büyük ve adil bir ruha sahipti. Her gün sabahleyin okuduğu duada Allah’tan, alçak insanlara muhtaç olmamasını niyaz ederdi.
Bir gün Hz. Cebrail, Resûlullah’ın (s.a.a) yareninden birisinin şeklinde inmişti. Bu sırada Ebuzer, Resûlullah’ın yanına vardı. Cebrail, “Kim bu, ya Resûlallah?” diye sordu. Resûlullah, “Ebuzer” diye cevap verdiler. Cebrail şöyle dedi: “O göklerde, yerdekinden daha meşhurdur. Ona sorar mısınız sabahları hangi duayı okuyor?” Ebuzer, Resûlullah’a (s.a.a) cevabında zikri geçen duayı okudu. (Kâmusu’r–Ricâl, c.4, s.446; ed–Derecâtu’r–Rafia, s.235; Usulü’l–Kâfî, s.587).
Müslümanlardan birisi, Hz. Ebuzer’in eski bir elbiseyle namaz kıldığını görünce şöyle sordu: “Bundan başka elbisen yok mu?” “Olsaydı giyinirdim.” “Kaç gün önce iki kat elbisen vardı?” “Onları, benden daha çok ihtiyacı olan birisine verdim.” “Yemin ederim ki senin daha fazla ihtiyacın var.” “Allah, seni affetsin; dünyayı büyük görüyorsun. Omuzumda gördüğün cübbeden başka bir cübbem daha var ki onu mescide gittiğimde giyiniyorum. Kaç tane keçim var, sütünden istifade ediyorum. Kaç tane merkebim var, yükümü taşıyor. Evde işlerimi yapıp, yemeklerimi pişirecek hizmetçim de var. Allah’ın nimetlerinden bundan daha fazla ne isteyebiliriz ki?”
O, keçilerini sağdığında sütünü komşularına dağıtırdı, bazen kendisine bile kalmazdı. (Tabakât–ı İbn–i Sa’d, c.4, s.235).