Stern se casó con su primera esposa, Allison (de soltera Burns), el 4 de junio de 1978 en Temple Ohabei Shalom en Brooklyn, Massachusetts. Tienen tres hijas: Emily Beth (nacida en 1983), Debra Jennifer (nacida en 1986) y Ashley Jade (nacida en 1993). El 22 de octubre de 1999, Stern anunció que habían decidido separarse y vivir con Stern en su apartamento del Upper West Side. El matrimonio terminó en 2001 con un divorcio y un acuerdo amistosos. En 2000, Stern comenzó a salir con la modelo y presentadora de televisión Beth Ostraski. El 14 de febrero de 2007, Stern anunció su compromiso. Se casaron con el restaurante Le Soleil en la ciudad de Nueva York el 3 de octubre de 2008.
Stern crecía en Long Island cuando le enseñaron a jugar al ajedrez. Ha trabajado en el Internet Chess Club, tomando lecciones en línea del fundador del sitio, el gran maestro de ajedrez Dan Heisman, y ha logrado más de 1.600 calificaciones.
A principios de la década de 1970, los padres de Stern comenzaron a practicar la Meditación Trascendental y lo alentaron a aprender la técnica. Stern le atribuye haberle ayudado a dejar de fumar y alcanzar sus objetivos en la radio, y continúa practicando hasta el día de hoy.
Stern reveló en enero de 2006 que se había sometido a una rinoplastia y una cirugía de liposucción para cambiar la forma de su mentón en la década de 1990.
En 2011, Stern se dedicó a la fotografía y fotografió el diseño de los Hamptons en julio. También ha filmado para Whirlpool y North Shore Animal League.
En mayo de 2013, Stern se instaló en Palm Beach, Florida. La casa cubría 19.000 pies cuadrados y costó 52 millones de dólares.
Multas de la FCC
Artículo principal: Howard muestra duras multas de la FCC
De 1990 a 2004, la Comisión Federal de Comunicaciones (FCC) multó a estaciones de radio La marca llevó a cabo una muestra mordaz del propietario Howard de cobrar 2,5 millones de dólares por lo que consideró contenido indecente.