खलीलुर्रहमान ने खलीलाबाद में अपना ठिकाना बनाया और एक किले से संचालन शुरू किया। जिसके बाद उन्होंने कुछ ही दिन बाद लुटेरों को जिले से बाहर कर दिया। तभी से खलीलुर्रहमान के नाम पर जिले का नाम खलीलाबाद रखा गया।
किले का मुख्य गुबंद काफी भव्य है। कहा जाता है कि समय माता को भी खलीलुर्रहमान ने बहराईच से लाए थे और अपने किले के बगल में स्थापित कराया था। अवकाश प्राप्त प्रधानाचार्य हीरालाल त्रिपाठी, व्यापारी अमरनाथ रूंगटा, शिव कुमार गुप्त ने बताया कि खलीलुर्रहमान के नाम पर जिले का नाम खलीलाबाद पड़ा था। यहां का किला आज भी ऐतिहासिक है। बस इसके संरक्षण की जरूरत है।