Marvin Pentz Gay Junior, nasceu em 2 de abril de 1939, no Freedman's Hospital em Washington, DC, filho do ministro da igreja Marvin Pentz Gaye. Sua primeira casa foi em um conjunto habitacional público, o Fairfax Apartments que atualmente não existe mais pois foi demolido no bairro Southwest Waterfront. Embora fosse um dos bairros mais antigos da cidade, com muitas casas elegantes em estilo federal, a maioria dos edifícios eram pequenos, em péssimo estado de conservação e careciam de eletricidade e água encanada. Os becos estavam cheios de barracos de um e dois andares, e quase todas as habitações estavam superlotadas. Gaye e seus amigos apelidaram a área de "Simple City", por ser "meia cidade, meio campo". Gaye era o segundo mais velho dos quatro filhos do casal. Ele tinha duas irmãs, Jeanne e Zeola, e um irmão, Frankie Gaye. Ele também tinha dois meio-irmãos: Michael Cooper, filho de sua mãe de um relacionamento anterior, e Antwaun Carey Gay, nascido como resultado de casos extraconjugais de seu pai.