Дом, в котором расположен "Камердинер", был построен в начале XIX века. В 1876 году он был надстроен и расширен А.С. Эрбером, художником и живописцем, получившим право на проведение строительных работ.
Одним из самых интересных обитателей этого дома был гравер Вильгельм-Иоганн Матэ. Он занимался не только основной деятельностью, но и преподавал. Его знаменитыми учениками были художники В.А. Серов, И.И. Левитан, Б.М. Кустодиев и многие другие деятели искусства того времени.