El hogar ancestral de Zhang es el condado de Pingxiang, provincia de Jiangxi (ahora condado de Shangli, ciudad de Pingxiang).
Zhang nació en una familia aristocrática en Pingxiang, Jiangxi. Su padre, Zhang, era gobernador de Xiangshan y también dirigía un banco. La familia Zhang vive una vida próspera y tiene antecedentes familiares distinguidos. Zhang es el hijo mayor de la familia.
En 1924, Zhang se casó con Yang Zilie y se unió al Partido Comunista de China en 1921. Es la primera mujer ministra del Partido Comunista de China. Zhang Guotao y Yang Zilie tienen tres hijos: Zhang Haiwei, Zhang Xiangchu y Zhang Yuchuan. Todos se establecieron en Estados Unidos y Canadá y son médicos, ingenieros y profesores universitarios canadienses.
Después de la muerte de Zhang, el funeral se llevó a cabo de manera discreta, ni siquiera se dejó el nombre oficial en la lápida original y no se vio a sus familiares por ninguna parte.