Joe Cocker na verdade se chamava John Robert Cocker, ele nasceu em 20 de maio de 1944 na rua Tasker Road numero 38 em Crookes, Sheffield. Era o filho mais novo de um funcionário público, o senhor Harold Cocker, e sua mãe Madge Cocker. De acordo com diferentes histórias familiares, uns dizem que Cocker recebeu o apelido de Joe porque brincava com um jogo na infância chamado "Cowboy Joe" outros dizem que foi por causa de um limpador de janelas de prédios muito conhecido na cidade chamado Joe. Cocker não está relacionado ao músico Jarvis Cocker, que nasceu em Sheffield, apesar de um boato nesse sentido, principalmente na Austrália, onde o pai de Jarvis Cocker, era o apresentador de rádio Mac Cocker, que permitia que os ouvintes acreditassem que ele era irmão de Joe, embora Joe fosse amigo da família e até foi babá de Jarvis quando ele era criança.