En 1183, debido a que Kiso Yoshinaka y Minamoto Yoritomo defendieron el noreste y se opusieron al clan Taira, amenazando el gobierno del clan Taira, Taira Munemori, el líder del clan Taira, los envió a conquistar, pero Yori Noori se negó. La familia Taira fue derrotada en la Batalla del Paso Kurigara, y Taira Munemori llevó a todos los miembros a escapar de Kioto y dirigirse a la isla Kyushu. Yorimori lo siguió con sus tropas, pero cuando llegó al Templo Toba Sur, se excusó para regresar al ejército, dejó a la familia Taira y se quedó solo en Kioto, recibiendo la protección de Hachijoin. Al año siguiente fue a Kamakura para reunirse con Minamoto Yoritomo. Dado que Ikezenni había salvado la vida de Yoritomo después de la Rebelión Heiji, Yoritomo acordó mantener su posición oficial y sus bienes, convirtiéndose en la única rama superviviente del clan Ise Taira después de la Batalla de Dannoura.