A principios de 1939, un comité del Comité Central del Partido lo invitó a ir. Este comité es responsable de seleccionar nuevos miembros del personal entre los miembros del Partido Comunista que pueden ser asignados a puestos diplomáticos y de asuntos exteriores. Su experiencia al unirse a la Liga Juvenil Comunista y luego trabajar para el partido atrajo la atención de los líderes y el favor de la diosa del destino. Quien lo recibió fue Molotov, el entonces Comisario del Pueblo para Asuntos Exteriores. Fue nombrado Director del Departamento Americano del Comisariado del Pueblo de Asuntos Exteriores de la URSS. Aceptó este nuevo trabajo con un sentimiento vago, porque todo llegó muy de repente. En julio de 1939 fue llamado al Kremlin y se reunió por primera vez con Stalin. También estaba presente Molotov. Joseph Vissarionovich Stalin anunció su nombramiento como consejero de la Embajada soviética en Estados Unidos. Unos meses más tarde, él, su esposa Lidia Dmitrievna y sus dos hijos llegaron a Estados Unidos al otro lado del océano. De esta manera, a los 30 años inició su verdadera carrera como diplomático.
Cuatro años más tarde, sucedió a Maxim Litvinov como embajador en Estados Unidos, cuando Gromyko sólo tenía 34 años. En ese momento, la Segunda Guerra Mundial estaba llegando a su fin y la Unión Soviética necesitaba urgentemente dividir su esfera de influencia con los Estados Unidos y determinar el orden internacional de la posguerra. Sin la capacidad de alterar las reglas, es evidente que uno no está calificado para el importante puesto de embajador en Estados Unidos. Después de que Gromyko llegó a los Estados Unidos y presentó sus credenciales al presidente Roosevelt, inmediatamente comenzó a intensas actividades diplomáticas. Durante la Segunda Guerra Mundial, el ejército soviético luchó duramente y experimentó un punto de inflexión fundamental a principios de 1943. Sin embargo, la guerra continuó y el desarrollo de la situación creó muchos problemas que debían ser estudiados y resueltos de inmediato. Varias reuniones celebradas por los líderes de la Unión Soviética, Estados Unidos y el Reino Unido se convirtieron en un vínculo importante para el intercambio de opiniones. y coordinar acciones. El objetivo de estas reuniones era resolver el problema de cómo luchar y vencer, y también sentar las bases para el establecimiento de una organización mundial después de la guerra. De 1943 a 1945, estas reuniones se celebraron tres veces, respectivamente en Teherán, Yalta y Potsdam, en las dos últimas participó Gromiko. Además, también encabezó la delegación soviética o participó como miembro de la delegación soviética en una serie de reuniones a otros niveles: reuniones aliadas a nivel ministerial y de embajadores, incluidas reuniones sobre el establecimiento de la Administración de Socorro y Socorro de las Naciones Unidas. Conferencia de Barton Oaks sobre el establecimiento de las Naciones Unidas, etc.