El hermano mayor de Liu He, Liu Xu, fue ministro durante la dinastía Han. El hermano de Liu He, Liu Xu, fue ministro durante la dinastía Han y una vez ocupó puestos importantes como Taiwei y Taichang. Liu Xu era un confidente cercano del emperador Wu de la dinastía Han, Liu Che, por lo que también ocupó algunos cargos importantes durante el período del emperador Wu de la dinastía Han, como la construcción de la Academia Imperial para el emperador Wu de la dinastía Han.