Sarah Lois Vaughan nasceu em Newark, New Jersey, filha de Asbury "Jake" Vaughan, um carpinteiro que tocava violão e piano, e Ada Vaughan, uma lavadeira que cantava no coro da igreja, imigrantes da Virgínia. Os Vaughan viveram em uma casa na Brunswick Street em Newark durante toda a infância de Sarah Vaughan. Seu pai Jake era profundamente religioso. A família era ativa na Igreja Batista New Mount Zion em 186 Thomas Street. Vaughan começou a ter aulas de piano aos sete anos de idade, cantava no coro da igreja e tocava piano nos ensaios e cultos. Ela desenvolveu um amor precoce pela música popular ouvindo discos e no rádio. Na década de 1930, ela frequentemente via bandas locais e em turnê no Montgomery Street Skating Rink. Em meados da adolescência, ela começou a se aventurar ilegalmente nas casas noturnas de Newark e se apresentar como pianista e cantora no Piccadilly Club e no Aeroporto de Newark. Vaughan frequentou a East Side High School, depois foi transferida para a Newark Arts High School, inaugurada em 1931. Como suas aventuras noturnas como artista superaram suas atividades acadêmicas, ela abandonou o ensino médio durante o primeiro ano para se concentrar na música.