वैसे तो इस किले का निर्माण किसने करवाया था और कब, इसके बारे में सटीक जानकारी नहीं है, लेकिन कुछ इतिहासकारों का मानना है कि इसे मौर्यवंशीय राजा चित्रांगद मौर्य ने सातवीं शताब्दी में बनवाया था। इसके निर्माण को लेकर एक कहानी यह भी है कि इसे महाभारत काल में बनवाया गया था। किवदंती के अनुसार, एक बार भीम जब संपत्ति की खोज में निकले थे, तो उन्हें रास्ते में एक योगी मिले। भीम ने उनसे चमत्कारी पारस पत्थर की मांग की, जिसपर योगी ने कहा कि वो पारस पत्थर दे तो देंगे, लेकिन उन्हें पहाड़ी पर रातों-रात एक किले का निर्माण करना पड़ेगा। भीम इसके लिए मान गए और अपने भाईयों के साथ दुर्ग के निर्माण में लग गए।
उनका काम लगभग समाप्त होने ही वाला था, सिर्फ किले के दक्षिणी हिस्से का काम थोड़ा सा बचा हुआ था। इधर योगी किले का तेजी से निर्माण होता देख चिंता में पड़ गए, क्योंकि उसके बाद उन्हें पारस पत्थर भीम को देना पड़ता। इससे बचने के लिए उन्होंने एक उपाय सोचा और अपने साथ रह रहे कुकड़ेश्वर नाम के यति से मुर्गे की तरह बांग देने को कहा, जिससे भीम समझें कि सुबह हो गई है। कुकड़ेश्वर ने भी ऐसा ही किया। अब मुर्गे की बांग सुनकर भीम को गुस्सा आ गया और उन्होंने जमीन पर एक जोर की लात मारी, जिससे वहां पर एक बड़ा सा गड्ढा बन गया। इस गड्ढे को आज लोग लत-लाताब के नाम से जानते हैं।