Abu Dzar berasal dari suku Ghifar (dikenal sebagai penyamun pada masa sebelum datangnya Islam).  Ia memeluk Islam dengan sukarela. Ia salah seorang sahabat yang  terdahulu dalam memeluk Islam. Ia mendatangi Nabi Muhammad langsung ke Mekah untuk menyatakan keislamannya.

Setelah menyatakan keislamannya, ia berkeliling Mekkah untuk mengabarkan bahwa ia kini adalah seorang Muslim,  hingga memicu kekhawatiran serta kemarahan kaum kafir Quraisy dan  membuatnya menjadi bulan - bulanan kaum Quraisy. Berkat pertolongan Abbas bin Abdul Muthalib,  ia selamat dan suku Quraisy membebaskannya setelah mereka mengetahui  bahwa orang yang dipukuli berasal dari suku Ghifar. Ia mengikuti hampir  seluruh pertempuran-pertempuran selama Nabi Muhammad hidup.