霍去病出生于西汉建元元年（前140年），是平阳侯府的女奴卫少儿与平阳县小吏霍仲孺的私生子。霍仲儒当差期满，回到平阳县，与在长安平阳公主府的卫少儿失去联系。因此，霍去病一直不知道自己的父亲是谁，直到成为骠骑将军后，才与父亲相认。

建元二年（前139年），卫少儿的妹妹卫子夫得幸汉武帝刘彻。[2]一年多后（建元三年至建元四年，约前138-137年），卫子夫全家贵幸[3]。卫少儿曾经与曲逆侯陈平的曾孙陈掌私通[4]，从而与陈掌结婚。元朔元年（前128年），卫子夫被立为皇后。霍去病因此在年幼时成为当时最重要的外戚家族的一员，过上上流社会的生活。

霍去病在少年时代就“善骑射”。武帝很喜欢他，让他做了自己的近臣侍中。武帝还曾想亲自教授霍去病孙子、吴起的兵法，但霍去病以“顾方略何如耳，不至学古兵法”为由推辞。