พิพิธภัณฑ์อยู่สุขสุวรรณ์ ได้ตั้งตามชื่อ-สกุลของ คุณณรงค์ อยู่สุขสุวรรณ์ หรือที่ชาวปราจีนบุรี เรียกว่า “เฮียพันธ์” ซึ่งแต่เดิมนั้นประกอบอาชีพรับซื้อขายของเก่าจำพวกเศษเหล็กและโลหะ ในช่วงแรกๆ จะมีตะเกียงเจ้าพายุติดมากับพวกเศษโลหะจำนวนมาก แต่ก็ยังไม่ได้ให้ความสนใจมากนักและยังขายไปในราคาเดียวกับเศษเหล็กด้วยซ้ำ แต่เมื่อมีคนมาซื้อได้ให้ราคาเป็นดวงซึ่งสูงกว่าการขายเป็นกิโลกรัมเหมือนเศษโลหะโดยให้ราคาดวงละ 50 บาท จึงได้คัดแยกไว้ขายให้คนที่ต้องการเพราะเริ่มมีคนสนใจมากขึ้นเพื่อที่จะนำไปตกแต่งให้สวยงามและขายต่อให้ชาวต่างประเทศในราคาสูง ราคาจึงพุ่งขึ้นถึงดวงละ 100 บาท นับเป็นราคาที่สูงมาก ในขณะ

นั้นคุณณรงค์จึงเริ่มสงสัยและถามผู้ที่มาซื้อจึงได้ทราบเรื่องและฉุกคิดขึ้นมาว่า หากขายออกไปจำนวนมากอาจทำให้ตะเกียงเจ้าพายุซึ่งเป็นตะเกียงที่มีเอกลักษณ์สวยงามและทนทานหมดไปจากประเทศไทยและคนรุ่นหลังอาจไม่รู้จักเพราะไม่เคยเห็นตะเกียงแบบนี้ จึงได้ตัดสินใจเริ่มสะสมโดยตะเกียงดวงแรก ก็คือ ตะเกียงขนาด 150 แรงเทียน แม้จะดูเหมือนตะเกียงเจ้าพายุทั่วไปแต่เป็นแบบดวงเล็กเห็นแล้วชอบจึงเก็บเอาไว้ และเริ่มมีตะเกียงแบบแปลกๆ

มากขึ้น และเพื่อนฝูง หรือคนรู้จักต่างก็ซื้อมาฝากด้วยสิ่งแรกที่เก็บสะสมจะเป็นตะเกียงแล้วจึงเริ่มสะสมสิ่งอื่นๆ ตามมาทีหลัง อาทิเช่น นาฬิกา จักรยาน ข้าวของเครื่องใช้ต่างๆ เป็นต้น ประกอบกับคุณวิภาวรรณ์ อยู่สุขสุวรรณ์ ซึ่งเป็นภรรยา คุณณรงค์ อยู่สุขสุวรรณก็เป็นคนที่ชอบสะสมตู้เก่า ตู้โบราณที่ทำจากไม้สัก จึงทำให้มีของเก็บสะสมจำพวกตู้มากขึ้น พอเก็บสะสมได้มากขึ้นก็มีคนขอเข้าชมโดยที่ทางเราก็ไม่ได้เก็บเงิน แต่ก็เกิดความไม่สะดวกแก่ผู้เข้าชมเพราะพื้นที่แคบ และของบางอย่างก็ไม่สามารถที่จะวางโชว์ได้ก็จะเห็นแต่ตะเกียงเพียงอย่างเดียวเวลาที่จะดูแลคนที่มาเยี่ยมชมก็มีน้อย เพราะจะต้องดูแลกิจการร้านสหพันธ์การค้าด้วย จึงมีความคิดที่จะสร้างพิพิธภัณฑ์ขึ้นเพื่อที่จะให้คนรุ่นหลังได้เห็นได้รู้จักและทราบถึงข้อมูลสิ่งของที่หาดูได้ยากเหล่านี้ ซึ่งสิ่งของที่จัดแสดงทั้งหมดนี้ใช้ระยะเวลาในการเก็บสะสมมากกว่า 30 ปี สิ่งเหล่านี้จึงถือว่าเป็นจุดกำเนิดของพิพิธภัณฑ์อยู่สุขสุวรรณ์ก็ว่าได้ พิพิธภัณฑ์อยู่สุขสุวรรณ์ ก่อตั้งเมื่อวันที่ 22 เมษายน 2545 ใช้ระยะเวลาในการก่อสร้างเป็นเวลา 4 ปีเศษ เปิดให้เข้าชมเมื่อวันที่ 27 มกราคม 2550

ภายในพิพิธภัณฑ์ประกอบด้วย 5 อาคาร คือ

อาคาร 1 อาคารราชาวดี : อาคารนี้เป็นอาคารสองชั้น ในส่วนของการจัดแสดงชั้นล่างได้จัดแสดงเกี่ยวกับสิ่งของโบราณหลากหลายชนิดอาทิ เช่น เครื่องเงิน เครื่องทองเหลือง เตารีดโบราณ เครื่องปั้นดินเผา ตู้เย็นใช้น้ำมันก๊าซ เป็นต้น ในส่วนของชั้นสองเป็นชั้นที่รวบรวมตะเกียงเจ้า-พายุหลากหลายยี่ห้อ ทั้งยังมีตะเกียงที่มีการใช้งานที่แตกต่างกันไป เช่น ตะเกียงเรือ ตะเกียงฉายสไลด์ นอกจากนี้ยังมีรายละเอียดของส่วนประกอบตะเกียงให้ท่านได้ศึกษาอีกด้วย

อาคาร 2 อาคารลีลาวดี : อาคารนี้เป็นอาคารแฝดที่เชื่อมต่อกันทั้งหมดซึ่งมีสองชั้นรวมหกห้องโดยแบ่งเป็นสองชั้น ชั้นล่างประกอบไปด้วย

ห้องราชพฤกษ์ ได้จัดแสดงเกี่ยวกับถ้วยชามโบราณ ถาดกระเบื้อง โถพู ขวดน้ำมะเน็ด ซึ่งเป็นขวดน้ำอัดลมสมัยก่อน

ห้องชัยพฤกษ์ ส่วนใหญ่ของที่จัดแสดงจะเป็นเครื่องทองเหลือง อาทิ  เซี่ยนหมาก ทองเหลือง ขันลงหิน เตาน้ำมันก๊าซ ตะเกียงลาน

ห้องกัลปพฤกษ์ ใครที่ชื่นชอบเกี่ยวกับรถจักรยานยนต์และรถจักรยานต้องไม่พลาด ภายในห้องนี้ได้รวบรวม รถจักรยานหลากหลายยี่ห้อรวมไปถึงรถจักรยานยนต์ที่มีหลักการทำงานเป็นสองส่วนคือการใช้เป็นจักรยาน(ถีบ)หรือเป็นรถจักรยานยนต์ก็ได้

ห้องทองกวาว ห้องนี้จะเห็นได้ว่าเป็นที่ชื่นชอบของเด็กๆ เพราะภายในห้องนี้จะป็นของสะสมที่เป็นของเล่นสังกะสี โดยส่วนใหญ่ และยังมีสามล้อถีบของเด็กในสมัยก่อน ซึ่งเป็นห้องที่เด็กๆจะได้เห็นวิวัฒนาการของของเล่นอดีตจนถึงปัจจุบัน

ห้องทองหลาง ภายในห้องนี้ได้จัดแสดงในเรื่องของพระ เช่น พระ-ผง พระเหรียญ รวมถึงรูปพระเก่าไว้มากมายหลายแบบ รวมทั้งพระเครื่องที่ขึ้นชื่อของจังหวัดปราจีนบุรี

ห้องทองพันชั่ง เป็นการรวบรวมเกี่ยวกับเครื่องคำนวณ ตราชั่งและเครื่องตวงวัดในรูปแบบต่างๆ เช่น ตราชั่งคัน ซึ่งมีตั้งแต่ขนาดเล็กจนถึงขนาดใหญ่ในการจัดแสดงของอาคารหลังนี้ ได้จัดแสดงสิ่งของไว้เป็นหมวดหมู่ โดยในแต่ละห้องจะมีจุดเด่นที่แตกต่างกันออกไป 

อาคาร 3 อาคารชวนชม : อาคารนี้เป็นอาคารชั้นเดียวอาคารแห่งนี้จัดแสดงในเรื่องของรูปเก่าของเมืองปราจีนบุรีในสมัยก่อน และรูปของพระบาทสมเด็จพระเจ้าอยู่หัว เมื่อครั้งเสด็จมาเยือนปราจีนบุรี ณ วัดแก้วพิจิตร และยังมีหนังสือเก่านานาชนิด เช่นหนังสือพิมพ์ที่วางจำหน่ายในปี พ.ศ. 2515 หนังสือการ์ตูนและสำหรับผู้ที่ชื่นชอนในเรื่องของแสตมป์ ทางพิพิธภัณฑ์ได้จัดแสดงแสตมป์ที่สำคัญ ๆ ไว้หลายชุดด้วยกัน รวมถึงยังมีล็อตเตอรี่รุ่นแรกของประเทศไทยอีกด้วย  

อาคาร 4 อาคารเจ้าพายุ : อาคารนี้เป็นอาคารที่สร้างจากรูปแบบของตะเกียงเจ้าพายุ โดยมีส่วนสูงประมาณ 13 เมตร ซึ่งภายในอาคารนี้ นักท่องเที่ยวสามารถขึ้นไปเพื่อชมวิวโดยรอบได้ เมื่อทุกท่านได้พบกับของสะสมนานาชนิดที่ทำให้ท่านได้ย้อนสู่อดีตแล้ว ทางพิพิธภัณฑ์ยังมีสถานที่ที่ให้ท่านได้พักผ่อนหย่อนใจไปกับธรรมชาตินั่นคือ บ่อปลา และกรงนกขนาดใหญ่ ที่มีนกสวยงามนานาชนิดให้ท่านได้ชื่นชม เช่น นกยูงไทย ในปัจจุบันหาดูได้ยากแล้วยังมีบ่อเต่ารวมไปถึงบ่อจระเข้อีกด้วย และจุดหลังสุดของพิพิธภัณฑ์ท่านจะได้พบกับอาคารสุดท้าย

อาคาร 5 อาคารฟ้าประดิษฐ์ : ซึ่งที่นี่ท่านจะได้พบกับเรือหลากหลายชนิด ไม่ว่าจะเป็นเรือขุดที่ใช้ต้นไม้ทั้งต้นมาทำเรือขุดเพียงลำเดียวและภายในโรงเรือยังมีเรือนเครื่องผูก ซึ่งเป็นบ้านที่สร้างจากไม้ไผ่โดยไม่ต้องใช้ตะปูหรือลวดในการก่อสร้างเลย และภายในบ้านได้จัดข้าวของเครื่องใช้ในการดำรงชีวิตสมัยก่อน ให้เยาวชนได้ศึกษาอีกด้วยและนี่เป็นอีกสถานที่หนึ่งที่จะนำให้ท่านหลบพักความวุ่นวายในสังคมเมืองแล้วมาพักผ่อนพร้อมย้อนอดีตไปกับที่แห่งนี้