किले से ही शुरू होता था परकोटे का शहर

किले के भीतर एक दीवार और भी है, दोनों दीवारों के बीच में खाई बनी हुई है जिसमें जल भरा रहता था। बाहरी वाली दीवार दरियाबाद होते हुए खुल्दाबाद तक गई थी, सराय खुल्दाबाद में यह दीवार, परोकाटा आज भी दिखता है। किले में दो बडे़ अधिकारी रहते थे, एक सूबेदार और दूसरा किलेदार। तीसरा प्रांतीय बक्शी भी किले में ही रहता था, जो सेना की व्यवस्था देखता था। बक्शी ने ही किले की सुरक्षा के लिए बक्शी बांध बनवाया था। नदी पर पुल बनवाना, यातायात व्यवस्था देखना भी उसी के जिम्मे था।  जल यातायात, जल परिवहन मीर बहर देखता था। उसका आफिस गैरिसन इंजीनियर के आफिस के बगल में था।

इलाहाबाद विश्वविद्यालय के मध्यकालीन इतिहास विभाग के पूर्व अध्यक्ष प्रोफेसर हेरंब चतुर्वेदी कहते हैं, खास बात यह भी कि किले की बाहरी दीवार सूखे मसाले से बनाई गई थी ताकि पानी से उसे कोई नुकसान न पहुंचे। मनकामेश्वर मंदिर के पश्चिम की ओर अब भी लाल बिल्डिंग हैं, जो तत्कालीन बंदरगाह था। उसी बंदरगाह पर मुतसद्दी यानी बंदरगाह अधीक्षक का आफिस था, यहां वह चुंगी कर वगैरह लेता था। उसकी मदद केलिए वहां सैन्य टुकड़ी रहती थी। किले की दीवार के सहारेसैनिकों की कोठरियां थी, बुर्ज पर सैनिक रहते थे ताकि पूरे समय सुरक्षा बनी रहे।

किले के पूर्वी छोर पर किलाघाट मस्जिद थी। इसी तरह पश्चिम की ओर भी मनकामेश्वर मंदिर के सामने एक मस्जिद थी। जहां अब गैरिसन इंजीनियर का ऑफिस बना है। पातालपुरी मंदिर तब भी था, जिसे अकबर ने हटाने के बजाय उसे किले के भीतर संरक्षित करते हुए। वहां के पुजारी को भू राजस्वरहित भू अनुदान दिया था ताकि वहां पूजन-अनुष्ठान चलता रहे। उससे कहा गया था कि घी का दीया चौबीस घंटे जलता रहे ताकि हमारे साम्राज्य की समृद्धि सुनिश्चित हो सके। मंदिर के पुजारी यमुना की ओर से गऊघाट गेट से मंदिर में आते और जाते थे।

किले के बारे में एक रोचक कहानी और है। कहते हैं, बांध बन जाने के बाद आठ महीने में किले का जितना भाग बनता था, वह बारिश में गंगा-यमुना के बहाव में कट जाता था। तकरीबन चार बार इसे निपटने की कोशिशें हुईं। हरिमोहन दास टंडन की पुस्तक प्रयागराज के मुताबिक उस समय प्रयाग के महान वैष्णव संत और सिद्धपुरुष स्वामी देवमुरारी का बड़ा प्रभाव था। सो शहंशाह ने अपने दीवान और आमेर नरेश को स्वामी जी के पास भेजा। उन्होंने दीवान को तुलसी दल और सफेद चंदन देकर उन्हें गंगा-यमुना में डाल देने को कहा। मान्यता है कि स्वामी जी के इस उपाय के बाद दोनों नदियों की ओर से कोई क्षति नहीं हुई, तब कहीं जानकर किला बनकर तैयार हुई।