Después de que la familia de Chen Zimei se quedó en Hong Kong por un corto tiempo, regresaron a Shanghai por carretera. Pronto, la relación de Chen Zimei con Zhang Guoxiang se rompió por completo y ella alquiló otra casa con sus cuatro hijos y vivió por separado. Durante la Guerra Antijaponesa, los precios en Shanghai subieron tres veces al día y la vida se volvió cada vez más difícil. Entonces Chen Zimei se mudó a Nanjing con sus hijos y vivió en Xiaguan, llevando una vida tan pobre como la que llevaba su madre cuando ella y su hermano vivían solos en Nanjing. No fue hasta después de la victoria de la Guerra Antijaponesa que se divorció oficialmente de Zhang Guoxiang. Sin embargo, Zhang Guoxiang no les proporcionó a ella ni a sus hijos los gastos de manutención. ¿Cómo podría una mujer débil criar a cuatro hijos? Desesperada, Chen Zimei no tuvo más remedio que separarse de ella a regañadientes, dejando atrás a sus cuatro hijos biológicos y se fue resueltamente.