Goodman nasceu em Chicago, a nona de 12 crianças de pobres imigrantesjudeus da Polônia que viviam na vizinhança da Maxwell Street. Seu pai, David Goodman, era um alfaiate de Warsaw. Sua mãe, Dora Rezinski, era do Kansas. Seus pais conheceram-se em Baltimore em Maryland e mudaram-se para Chicago antes de Benny nascer[2].
Quando Benny tinha 10 anos, seu pai inscreveu a ele e dois irmãos mais velhos para terem aulas de música na sinagoga Jacob Kehelah. No ano seguinte ele ingressou na banda de garotos da casa de caridade de Jane Addams, onde recebeu lições do diretor James Sylvester. Também foi importante durante este período os dois anos de aprendizado com o professor de clarinetas Franz Schoepp[3].