नवाब कासिम का जो किला कभी जिले की प्रशासनिक व्यवस्था का केंद्र था वह रखरखाव के अभाव में यह खंडहर में तब्दील होता जा रहा है। इतना ही नहीं किला अतिक्रमण का भी शिकार है। इसके गौरवशाली इतिहास का भान कराने वाली मोटी दीवारें टूट रही हैं। इसे बचाने के लिए पुरातत्व या पर्यटन विभाग की तरफ से पहल नहीं की गई तो आने वाले दिनों में यह ऐतिहासिक स्मारक जमींदोज हो जाएगा।
सत्रहवीं शताब्दी में गाजीपुर के नवाब शेख अब्दुल्ला ने अपने पिता मुहम्मद कासिम के नाम पर कासिमाबाद को आबाद किया और एक किला बनवाया। शत्रुओं से रक्षा के लिए किले के चारों तरफ गहरी खाई खुदवाई गई थी, जिसमें हमेशा पानी भरा रहता था। किला ही नहीं कासिमाबाद नगर को भी महफूज रखने का पुख्ता बंदोबस्त किया गयाता। नगर के चारों तरफ भी खाईं खुदवाकर दीवार बनवाई गई थी । नगर में दाखिल होने के लिए चारों दिशाओं में चार पाठक बनाए गए थे। चारों फाटकों पर नगर की रक्षा के लिए चार देवियों की स्थापना की गई थी। यहां आज भी चारों फाटक मां के नाम से मौजूद हैं। चाहरदिवारी के अवशेष आज भी जगह-जगह भीटे के रूप में मौजूद है।
पतली लाहौरी ईंटों और सुर्खी चूने से निर्मित किले की दीवार तथा अवशेष आज भी विद्यमान है। दीवारों पर चित्रकारी भी की गई है। यह उस समय की कला और वास्तुकला का अद्भुत नमूना है। किले के दक्षिण तरफ अपराधियों को फांसी देने के लिए बना फांसी घर आज भी मौजूद है। बुजुर्गों का कहना है कि उन्होंने अपने पुरखों से सुना था कि किले की दीवारों में हंडों में भरा काफी धन रखा गया है। इस जनश्रुति के कराण ही कई बार इसकी खुदाई का प्रयास किया गया, लेकिन कुछ खुदाई होते ही अंदर से भौरों का झुंड निकल कर काटना शुरू कर दिया।
मुख्य द्वार पर कोट की देवी मां की चंवर तथा मध्य में शाबीर बाबा का मजार है, जहां आज भी आस्थावान पहुंचते हैं। आपातकाल में बाहर निकलने के लिए किले के अंदर से गाजीपुर और दुर्गा स्थान तक जाने का भूमिगत सुरंग भी है। मगर रखरखाव के अभाव में यह धरोहर खंडहर होती जा रही है। इस पर अतिक्रमण भी होने लगा है।