อาคารที่ทำการไปรษณีย์ภูเก็ตหลังเก่า เป็นอาคารเก่าแก่อีกแห่งในจังหวัดภูเก็ตที่มีความงดงามในด้านสถาปัตยกรรมและทรงคุณค่า ด้วยมีเอกลักษณ์เฉพาะท้องถิ่นจังหวัดชายทะเลตะวันตก อาคารสีขาวโดดเด่นงามสง่า ตั้งประจักษ์แก่สายตาบุคคลทั่วไปมาหลายยุคสมัย  จากหลักฐานที่ปรากฏในจดหมายเหตุประพาสหัวเมืองปักษ์ใต้ของรัชกาลที่ 6 ทำให้ทราบว่า อาคารแห่งนี้สร้างขึ้นเมื่อปี พ.ศ. 2473 แต่เดิมเคยเป็นเรือนที่พักอาศัยของพระอนุรักษ์โยธา(นุด) ข้าหลวงรักษาราชการหัวเมืองฝ่ายตะวันตก ภายหลังไม่นาน อาคารแห่งนี้ถูกนำมาใช้ในส่วนของราชการ นอกจากอาคารที่ทำการไปรษณีย์โทรเลขแล้ว ยังมีสำนักงานการไฟฟ้า สุขาภิบาลเมืองภูเก็ต และธนาคารออมสิน อยู่ในบริเวณพื้นที่เดียวกันด้วย

ลักษณะสถาปัตยกรรม สร้างเป็นอาคารชั้นเดียวคอนกรีตเสริมเหล็ก ทาสีขาว ด้านหน้าเป็นบันไดทางขึ้น 5 ขั้น เสาเป็นสี่เหลี่ยมเซาะร่องห่าง ราวลูกกรงปูนเรียบยาว กรอบหน้าต่างสีโอ๊ค มีหน้าต่างแบบเปิดบานคู่ เหนือบานเปิดเป็นช่องแสงไม้ตารางสี่เหลี่ยมติดกระจกใส ภายในตีฝ้าเพดานไม้ตีชิดทาสีขาว ประตูภายในเปิดปิดบานคู่ลูกฟักไม้ ก่อนถึงหลังคามีแนวกันสาดยื่นเป็นกันสาดคอนกรีตเสริมเหล็กบาง ๆ ประมาณ 10 เซนติเมตร ยื่นออกมาประมาณ 80 เซนติเมตร หลังคาเป็นทรงปั้นหยา กระเบื้องจีนดินเผาทรงกระบอกผ่าซีก ป้ายหน้าอาคารเขียนด้วยตัวหนังสือแบบเก่าว่า ที่ทำการไปรษณีย์โทรเลข POST & TELAGRAPH OFFICE

ตรงบริเวณโรงแรมเพิร์ลในปัจจุบันที่อยู่ตรงข้ามกับอาคารที่ทำการไปรษณีย์โทรเลขภูเก็ต ซึ่งครั้งหนึ่งเคยเป็นขุมเหมืองถูกพัฒนาเป็นอาคารพาณิชย์ของขุนเลิศโภคารักษ์ ท่านได้พัฒนาพื้นที่ตรงนั้นให้เป็นศูนย์การค้าเลิศโภคารักษ์ นับเป็นศูนย์การค้าแห่งแรกในจังหวัดภูเก็ต จึงจัดได้ว่าบริเวณที่ทำการไปรษณีย์ฯ ในอดีตเป็นพื้นที่ที่มีความเจริญรุ่งเรืองเป็นอย่างมาก เคยมีความพยามจะทำการรื้อถอนอาคารแห่งนี้มาแล้วครั้งหนึ่งในปี พ.ศ. 2524 เมื่อสำนักงานจังหวัดภูเก็ตได้ทำหนังสือถึงสำนักงานไปรษณีย์เขต 8 แจ้งความประสงค์จะขอรื้อถอนอาคารเพื่อสร้างอาคารที่ทำการหลังใหม่ แต่กรมศิลปากรไม่อนุญาตให้รื้อถอน เนื่องจากอาคารดังกล่าวเป็นอาคารที่มีสถาปัตยกรรมเก่าแก่สมควรแก่การอนุรักษ์ไว้

ต่อมาในปี พ.ศ. 2537 ได้มีการปรับปรุงอาคารไปรษณีย์ภูเก็ตหลังเก่า จัดสร้างให้เป็นพิพิธภัณฑ์ตราไปรษณียากรภูเก็ตขึ้น เพื่อเป็นที่รวบรวมความรู้เรื่องแสตมป์และการสื่อสารต่างๆ ให้ประชาชนทั่วไปได้เข้ามาศึกษาหาความรู้ โดยเปิดให้เข้าเยี่ยมชมครั้งแรกเมื่อวันที่ 14 ธันวาคม 2547 ภายในส่วนของอาคารพิพิธภัณฑ์ได้จัดแสดงตราไปรษณีย์ยากร หรือดวงตราไปรษณียากรชุดต่างๆ ของประเทศไทยตั้งแต่ปี พ.ศ. 2494 นอกจากนี้ยังมีการจัดแสดงเครื่องมือเครื่องใช้เกี่ยวกับการสื่อสารของไทยสมัยก่อน ตั้งแต่ครั้งยังเป็นกรมไปรษณีย์โทรเลข อาทิ เครื่องชั่งไปรษณียภัณฑ์แบบตัวเลขรุ่นแรก เครื่องประทับตราไปรษณียากร เครื่องรับส่งสัญญาณโทรสาร ฯลฯ ห้องด้านหลังภายในพิพิธภัณฑ์ยังจัดเป็นห้องสมุดที่รวบรวมความรู้และเรื่องราวต่าง ๆ ประวัติความเป็นมาของแสตมป์ทั้งของโลกและของประเทศไทย และความเป็นมาของไปรษณีย์ไทย ฯลฯ