Duff comenzó a salir con el cantante Aaron Carter en 2000. Su relación duró un año y medio antes de que Carter se mudara con la actriz Lindsay Lohan, y luego regresara nuevamente con Duff. Más tarde, Carter afirmó que engañó a Duff con su mejor amiga y dijo que Duff estaba "desconsolada" y se disculpó por sus acciones. Más tarde se informó que Duff y Lindsay Lohan estaban "peleando" por su relación con Carter. Hasta 2006, se informó que los dos no se habían reconciliado. Duff también dijo: "A veces realmente siento que la odio (Lohan). Ella es demasiado extrema conmigo".
En 2004, Duff comenzó. Saliendo con Joel Madden, cantante de la banda de rock Good Charlotte. Después de una serie de revelaciones y rumores en los tabloides, los dos hicieron pública su relación en junio de 2005. En una entrevista de junio de 2006 con la revista ELLE, se citó a Duff diciendo: "Por supuesto que me encanta ser virgen. Eso no significa que no piense en sexo, porque todos los que conozco lo han hecho, y tú también". ." Pero los dos se separaron en noviembre de 2006.
Duff participa en el trabajo de varias organizaciones benéficas, es un ávido defensor de los derechos de los animales, es miembro de la organización "Ideal Children" y una vez donó 250.000 dólares a las víctimas del huracán Katrina. Creó la marca de ropa "Stuff by Duff" el 12 de marzo de 2004 y sus productos se venden en Estados Unidos, Canadá y Australia.
En agosto de 2005, Duff dijo que tenía un empaste dental después de romperse un diente frontal con un micrófono durante un concierto. Más tarde, en 2005, Duff se tomó un mes libre para compensar su cumpleaños número 18. A finales de 2005, Duff también dijo que había perdido peso, lo que desencadenó discusiones en los medios sobre si padecía un trastorno alimentario, lo que Duff negó firmemente. En una entrevista reciente en el programa de televisión australiano Today, Tonight, Duff dijo que perdió peso cultivando un estilo de vida activo.