หมู่บ้านญี่ปุ่น ตั้งอยู่บนฝั่งตะวันออกของแม่นํ้าเจ้าพระยา เป็นถิ่นที่อยู่ดั้งเดิมของชุมชนชาวญี่ปุ่นในสมัยอยุธยา อยู่ตรงข้ามกับหมู่บ้านโปรตุเกส ซึ่งเป็นที่ตั้งของชุมชนชาวต่างชาติที่เดินทางมาค้าขายในกรุงศรีอยุธยา ไม่ว่าจะเป็นหมู่บ้านโปรตุเกส ฮอลันดา อังกฤษ โดยต่างได้รับพระราชทานที่ดินตั้งชุมชนบ้านเรือนอยู่บริเวณใกล้เคียงกัน

หมู่บ้านญี่ปุ่น ได้รับการปรับปรุงครั้งแรก ในปี พ.ศ.2529 โดยรัฐบาลญี่ปุ่นให้เงินช่วยเหลือแบบให้เปล่า 999 ล้านเยน (ประมาณ 170 ล้านบาทไทยในขณะนั้น) เนื่องในโอกาสที่พระบาทสมเด็จพระปรมินทรมหาภูมิพลอดุลยเดช ทรงเจริญพระชนมพรรษาครบ 60 พรรษา (พ.ศ.2530) และเป็นที่ระลึกในโอกาสครบรอบ 100 ปี ความสัมพันธ์ทางการทูตไทย-ญี่ปุ่น

สมาคมฯ ได้มีการปรับปรุงหมู่บ้านญี่ปุ่นได้ดำเนินมาอย่างต่อเนื่อง ได้แก่

• พ.ศ.2550 ในโอกาสที่พระบาทสมเด็จพระปรมินทรมหาภูมิพลอดุลยเดช เฉลิมพระชนมพรรษาครบ 80 พรรษา และครบรอบ 120 ปี ความสัมพันธ์ทางการทูตไทย-ญี่ปุ่น ได้ปรับปรุงอาคารผนวกและปรับปรุงการจัดแสดงนิทรรศการภายในใหม่ทั้งหมด โดยนำเสนอความรุ่งเรืองของกรุงศรีอยุธยา , เส้นทางเดินเรือ , การติดต่อค้าขาย , เรื่องราวเกี่ยวกับการเข้ามาของคนญี่ปุ่น , วิถีชีวิตความเป็นอยู่ของชุมชนญี่ปุ่นในอยุธยา รวมทั้งปรับปรุงภูมิทัศน์และจัดสร้างสวนและพร้อมศาลาญี่ปุ่นเพื่อเป็นอนุสรณ์

• พ.ศ.2557 เนื่องในโอกาส มหามงคลเฉลิมพระชนมายุ 60 พรรษา สมเด็จพระเทพรัตนราชสุดาฯ สยามบรมราชกุมารี ได้ปรับปรุงอาคารริมแม่นำเจ้าพระยาให้เป็นอาคารจัดแสดงนิทรรศการถาวรอันใหม่ พร้อมสื่อมัลติมีเดียที่ทันสมัย ใช้ชื่อว่า “นิทรรศการยามาดะ นางามาซะ (ออกญาเสนาภิมุข) และท้าวทองกีบม้า”

• พ.ศ.2560 ในวาระครบรอบ 130 ปี ความสัมพันธ์การทูตไทย-ญี่ปุ่น ได้ดำเนินการปรับปรุงต่อยอดการจัดแสดงนิทรรศการประวัติศาสตร์อยุธยาและหมู่บ้านญี่ปุ่นด้วยเทคโนโลยีภาพเสมือนจริง VR Street Museum โดยปรับปรุงห้องฉายภาพยนตร์และจัดทำ Street Museum ที่จะเพิ่มความตื่นตา ตื่นใจในการเรียนรู้ประวัติศาสตร์ พร้อมทั้งปรับปรุงภูมิทัศน์เพิ่มบรรยากาศของความเป็นญี่ปุ่น และปรับปรุงพื้นที่ห้องแสดงนิทรรศการเพื่อรองรับการจัดแสดงทางวัฒนธรรมไทย-ญี่ปุ่นซึ่งจะจัดขึ้นในอนาคตได้