La Pequeña Casa Blanca fue la residencia oficial del Departamento de Aduanas e Impuestos de Tamsui durante la dinastía Qing. En 1862, la Aduana Extranjera de Huwei se estableció formalmente. Después de que Tamsui se abrió al comercio, los asuntos aduaneros se complicaron y el número. El número de funcionarios de aduanas extranjeros aumentó. Se convirtió en una residencia en Puding. Se construyeron tres mansiones en la "Concesión del Gobierno" para que vivieran los funcionarios de aduanas extranjeros. Los lugareños las llamaron "Tres Casas de Puding".
Después de que se levantaron los tratados desiguales, los funcionarios de aduanas extranjeros se retiraron de Taiwán uno tras otro y el gobierno descuidó la gestión. Como resultado, la Pequeña Casa Blanca gradualmente se volvió solitaria y deprimida en 1996, fue desechada; Luego se construyó el edificio y la población local, grupos, académicos y expertos de Tamsui lanzaron la "Acción de Rescate de la Pequeña Casa Blanca". Los esfuerzos finalmente fueron en vano. Se evaluó que la Pequeña Casa Blanca tiene importancia histórica y tiene su propio valor arquitectónico único. Designada como sitio histórico de tercer nivel.