L'architecte Robert W. Gibson a conçu ce manoir néo-Renaissance construit en 1905. En 1917, sa femme Maisie (sur le tableau) est tombée amoureuse du collier à double rang de 128 perles naturelles de Pierre Cartier, le joaillier a offert un échange - le collier rare d'un million de dollars plus 100 $ pour le manoir de la 52e rue et de la Cinquième Avenue (au temps d'une valeur de 925 000 $) qui deviendra sa nouvelle boutique.