霍去病的父亲霍仲孺，曾在平阳县任职县吏，与婢女卫少儿有了一段短暂的情缘，并生下了霍去病。然而，霍仲孺在这之后很快娶妻生子，完全抛弃了卫少儿和霍去病。多年间，他从未对这个私生子尽过一天责任。