บ้านกนกมณี เป็นบ้านของอำมาตย์โท พระยาอัธยาศัยวิสุทธิ์(โชติ กนกมณี) ต้นตระกูลกนกมณี อดีตผู้ว่าราชการจังหวัดอุตรดิตถ์ (พ.ศ.2474 - 2476) สร้างขึ้นเมื่อ พ.ศ.2476

อำมาตย์โท พระยาอัธยาศัยวิสุทธิ์(โชติ กนกมณี) เกิดที่บ้านคลองผดุงกรุงเกษมฝั่งเหนือ ตำบลคลองผดุง อำเภอดุสิต จังหวัดพระนคร สมรสกับภรรยาคนแรก มีบุตร ธิดา 2 คน และสมรสกับคุณหญิงแข อัธยาศัยวิสุทธิ์ มีบุตร-ธิดารวม 11 คน ท่านรับราชการ ดำรงตำแหน่งผู้ว่าราชการจังหวัดสุโขทัยและ จังหวัดอุตรดิตถ์ ตามลำดับ

หลังจากมีการเปลี่ยนแปลงการปกครองเมื่อ พ.ศ.2475 ท่านได้ลาออกจากราชการ จึงต้องย้ายครอบครัวออกจาก จวนผู้ว่าราชการจังหวัดฯ แต่ด้วยมีความรักและผูกพันกับจังหวัดอุตรดิตถ์ จึงดำริที่จะใช้ชีวิตในบั้นปลายอยู่ที่จังหวัดนี้ โดยซื้อที่ดิน จำนวน 5 ไร่ ที่ ตำบลท่าอิฐ อำเภอเมือง ในราคา 800 บาท ปลูกเรือน 3 หลัง เป็นเรือนไทยประยุกต์ สร้างด้วยไม้เนื้อแข็ง มีชานเชื่อมต่อกันทุกหลังเพื่อให้ลูกๆ และบริวารอยู่อาศัย

• เรือนหลังใหญ่(เรือนในปัจจุบัน) มีหลังคาทรงสูง มีกันสาด ยาวตลอด เพื่อป้องกันแสงแดดจัด มีพื้นที่โล่งใต้เรือนเรียกใต้ถุน การยึดฝาเรือนไว้ด้วยกันใช้เทคนิคการเข้าลิ้น
• เรือนหลังกลาง เป็นเรือนชั้นเดียว ปัจจุบันชำรุดเสียหายไปหมดแล้ว
• เรือนสองชั้น ริมสระน้ำ ใต้ถุนสูง ปัจจุบันชำรุดเสียหายไปหมดแล้ว

บริเวณสนามหน้าบ้านทำเป็นสนามแบดมินตัน ขุดสระน้ำไว้ข้างบ้าน สำหรับเอาไว้ใช้รดน้ำต้นไม้ ท่านได้ปลูกพรรณไม้ในวรรณคดีไทยไว้แทบทุกชนิด แม้จะมีตายไปบ้างลูกหลาน ก็พยายามปลูกทดแทน ทำให้บ้านกนกมณีหลังนี้ร่มรื่นสวยงามอยู่เสมอมา ท่านเจ้าคุณพำนักอยู่ที่บ้านหลังนี้จนถึงแก่อนิจกรรม ในปี พ.ศ.2510

หลังจากนั้น คุณชิดดวง กนกมณี บุตรสาวของท่านได้ดูแลรักษาบ้านกนกมณีให้มีสภาพสวยงามตลอดเวลา ทั้งยังได้ฝากแนวคิดให้กับหลานๆ จัดทำบ้านหลังนี้ให้เป็นพิพิธภัณฑ์  จัดแสดงเครื่องใช้ ของสะสมต่างๆ เพื่อเป็นอนุสรณ์ถึงท่านเจ้าคุณ และเป็นเกียรติยศของตระกูลกนกมณี ให้คงอยู่คู่จังหวัดอุตรดิตถ์ตลอดไป

เรือนหลังใหญ่(เรือนในปัจจุบัน) แบ่งออกเป็นห้องใหญ่ ๆ ได้ 4 ห้อง คือ

• ห้องพระ ซึ่งอยู่ทางทิศใต้ของอาคารนับเป็นห้องที่งดงามที่สุด สร้างโดย ช่างชาวจีนไหหลำ ฝ้าหลังคาเป็นไม้ทรงโค้ง  มีหน้าต่างบานกระทั่งสามตอน  ช่องลมเลื่อนสามารถเลื่อนเปิดปิดได้ มีพระพุทธรูปยืนปูนปั้นสุโขทัยทรงเครื่อง และพระพุทธรูปจากยุครัตนโกสินทร์ประดิษฐานอยู่หลายองค
• ห้องนอนของอำมาตย์โท พระยาอัธยาศัยวิสุทธิ์ จัดแสดงเครื่องใช้ส่วนตัว และของสะสม  อาทิ ขันสาครขนาดใหญ่ที่ใช้บรรจุน้ำสำหรับทำน้ำมนต์  หรือ สำหรับผู้มีบรรดาศักดิ์ใช้อาบ มีศิลปะในการตกแต่ง ลวดลายให้มีความวิจิตรสวยงาม
• ห้องทำงานของอำมาตย์โท พระยาอัธยาศัยวิสุทธิ จัดแสดงประกาศนียบัตรกำกับเครื่องราชอิสริยาภรณ์ต่าง ๆ ที่ได้รับพระราชทาน
• ห้องนอนคุณหญิงแข อัธยาศัยวิสุทธิ์ จัดแสดงชุดล้างหน้าลายดอกไม้จากประเทศอังกฤษแบบครบชุด  กระเป๋าถือของคุณหญิงทำจากปุ่มไม้มะค่า  เตียงนอนเด็กอายุกว่า 100 ปี  เครื่องเบญจรงค์สมัยอยุธยา กระโถนทองเหลืองปากแตรขนาดต่างๆ

อำมาตย์โท พระยาอัธยาศัยวิสุทธิ์(โชติ กนกมณี) เป็นผู้ที่รักดนตรีไทยเป็นชีวิตจิตใจ ท่านได้หัดให้ลูกๆ เล่นดนตรีไทยคนละอย่าง ส่วนตัวท่านเองจะเป่าขลุ่ยเป็นนายวงซ้อมเล่นเป็นประจำ ลูก ๆ ที่โตแล้วก็ให้เล่นตะเข้ ซออู่ ซอด้วง ขิม ไวโอลิน สำหรับน้องใหม่ ให้ตีฉิ่ง ฉาบ ลาดตะโพนฯลฯ ใครเล่นผิดๆ ถูกๆ มักจะโดน หัวหน้าวงดุเอาได้ เพลงที่บรรเลงเล่นกันอยู่เสมอ มีเพลงเต่ากินผักบุ้ง และเพลงนกขมิ้น เป็นต้น

หลังจากที่อำมาตย์โท พระยาอัธยาศัยวิสุทธิ์ (โชติ กนกมณี) ถึงแก่อนิจกรรม คุณชิดดวง กนกมณี (บุตรสาว) ซึ่งมีฝีมือในการประกอบอาหารคาวหวานเป็นที่เลื่องลือในจังหวัดอุตรดิตถ์ ได้คิดค้นสูตรขนมขึ้นจากวัตถุดิบพื้นเมืองใกล้ตัว ขนมที่ท่านคิดนี้ขายดีจนมีชื่อเสียงเป็นที่รู้จักทั่วทั้งในประเทศ และต่างประเทศ ในชื่อ ขนมเทียนเสวย(ชิดดวง กนกมณี)