ตึกเจ้าพระยาอภัยภูเบศร สร้างขึ้นในปี พ.ศ.2452 โดยท่านเจ้าพระยาอภัยภูเบศร (ชุ่ม อภัยวงศ์) ก่อสร้างตามแบบสถาปัตยกรรมยุคบาโรก (Baroque) ของยุโรป เพื่อใช้เป็นที่ประทับแรมของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว หากเสด็จมณฑลปราจีนบุรีแต่รัชกาลที่ 5 แต่ทรงสวรคตเสียก่อน จากนั้นตึกหลังนี้จึงใช้เป็นที่ประทับแรมของพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว รวมทั้งพระบรมวงศานุวงศ์อีกหลายพระองค์ เมื่อครั้งเสด็จมณฑลปราจีนบุรี โดยที่ท่านเจ้าของตึกไม่เคยใช้ตึกหลังนี้เป็นที่พำนักส่วนตัวเลยตราบจนสิ้นอายุขัย

หลังจากเจ้าพระยาอภัยภูเบศรอสัญกรรม ตึกหลังนี้ตกเป็นของตระกูลอภัยวงศ์ และได้ถวายกรรมสิทธิ์ในตึกตลอดจนที่ดินรอบบริเวณให้กับพระนางเจ้าสุวัทนาฯ ซึ่งเมื่อพระองค์เสด็จตามเจ้าฟ้าเพชรรัตนราชสุดาพระราชธิดาไปประทับที่ประเทศอังกฤษ จึงประทานที่ดินและสิ่งปลูกสร้างทั้งหมดแก่มณฑลทหารบกที่ 2 จังหวัดปราจีนบุรี เพื่อใช้เป็นสถานพยาบาลสำหรับทหารและประชาชนทั่วไป และต่อมาได้โอนมาเป็นของกรมสาธารณสุข จัดตั้งเป็นโรงพยาบาลปราจีนบุรี และได้เปลี่ยนชื่อเป็น โรงพยาบาลเจ้าพระยาอภัยภูเบศร

ตึกเจ้าพระยาอภัยภูเบศรนั้น เดิมเป็นตึกอำนวยการ มีการดัดแปลงชั้นล่างเป็นห้องตรวจโรค ห้องจำหน่ายยา และห้องผ่าตัด ชั้นบนทำหน้าที่รับคนไข้หญิง โดยตึกได้ถูกใช้งานเป็นโรงพยาบาลจนถึงปี พ.ศ.2512 เมื่ออาคารตึกอำนวยการหลังปัจจุบันได้ก่อสร้างเสร็จ โรงพยาบาลจึงใช้ตึกเจ้าพระยาอภัยภูเบศรในการประชุมสัมมนาในบางกรณี จนกระทั่งปี พ.ศ.2533 กรมศิลปากร ได้ประกาศขึ้นทะเบียนตึกเจ้าพระยาอภัยภูเบศรเป็นโบราณสถาน และได้รับรางวัลสถาปัตยกรรมดีเด่นประเภทอาคาร จากสมเด็จพระเทพรัตนราชสุดาสยามบรมราชกุมารี

พ.ศ.2537 โรงพยาบาลจึงจัดทำโครงการพิพิธภัณฑ์การแพทย์แผนไทย เพื่อให้เป็นแหล่งการศึกษา ค้นคว้า อ้างอิงรวบรวมการอนุรักษ์ตำรายาไทย การแพทย์ไทย การแพทย์พื้นบ้านของจังหวัดปราจีนบุรี รวมทั้งมีการดำเนินการเผยแพร่ความรู้ดังกล่าวให้กว้างขวางยิ่งขึ้น โดยได้รับการสนับสนุนจากนายแพทย์ไพโรจน์ นิงสานนท์ อดีตรัฐมนตรีว่าการกระทรวงสาธารณสุข ให้มีการจัดตั้งมูลนิธิหมื่นชำนาญแพทยา(พลอย แพทยานนท์)

และได้ดำเนินการจัดส่วนแสดงนิทรรศการถาวร ประกอบด้วย

1. ห้องแนะนำการแพทย์แผนไทยอภัยภูเบศร

2. ห้องประวัติศาสตร์

3. ห้องท้องพระโรง

4. ห้องการแพทย์แผนไทยและสมุนไพร

5. ห้องปูมเมืองปราจีนบุรี

6. ห้องไม้กฤษณา

7. ห้องหมอหลวง(หมื่นชำนาญแพทย์)

8. ห้องเก็บตำรา

9. ห้องประวัติการพัฒนาสมุนไพรอภัยภูเบศร

10. ห้องประวัติโรงพยาบาลเจ้าพระยาอภัยภูเบศร

11. ห้องโถงกลาง