दशरथ जी के आग्रह पर शिल्पी विश्वकर्मा कनक भवन बनाने के लिए अयोध्या आए। उन्होंने अति सुंदर कनक भवन बनाया। माता कैकेयी ने वह भवन अपनी बहू सीता को मुंह-दिखाई में दिया। विवाह के बाद राम-सीता इसी भवन में रहने लगे। इसमें असंख्य दुर्लभ रत्न जड़े हुए थे।
आज से लगभग दो हजार वर्ष पूर्व सम्राट विक्रमादित्य ने इसका जीर्णोद्धार करवाकर सीताराम के युगल विग्रहों को वहां पुन: प्रतिष्ठित किया था। महाराज विक्रमादित्य द्वारा बनवाया गया विशाल कनक भवन एक हजार वर्ष तक ज्यों का त्यों बना रहा। बीच-बीच में उसकी मरम्मत होती रही।
इसके जीर्णोद्धार की दूसरी सहस्त्राब्दि में अयोध्या पर अनेक बार यवनों का आक्रमण हुआ, जिसमें लगभग सभी प्रमुख देव स्थान क्षतिग्रस्त हुए। कनक भवन भी तोड़ा गया।
माना जाता है कि द्वापर में श्रीकृष्ण अपनी पटरानी रुक्मिणी सहित जब अयोध्या आए, तब तक कनक भवन टूट-फूट कर एक ऊंचा टीला बन चुका था। भगवान श्रीकृष्ण ने उस टीले पर परम आनंद का अनुभव किया।
उन्होंने अपनी दिव्य दृष्टि से यह जान लिया कि इसी स्थान पर कनक भवन व्यवस्थित था। योगेश्वर श्रीकृष्ण ने अपने योग-बल द्वारा उस टीले से श्रीसीताराम के प्राचीन विग्रहों को प्राप्त कर वहां स्थापित कर दिया। दोनों विग्रह अनुपम और विलक्षण हैं। इनका दर्शन करते ही लोग मंत्रमुग्ध होकर अपनी सुध-बुध भूल जाते है। वास्तव में कनक भवन सीता-राम का अन्त:पुर है।