दोनों ने खूब बातें की और फिर मौलाना के रूप में द्विवेदी लौट गए। कुछ दिन बाद उनकी गिरफ्तारी हो गई। उन्हें अहमदनगर में नजरबंद कर दिया गया। वर्ष 1946 में प्रदेश में कांग्रेस के नेतृत्व में अंतरिम सरकार बनी तो रफी गृहमंत्री बनाए गए।
उन्होंने द्विवेदी की रिहाई का प्रयास शुरू किया। इसको लेकर प्रदेश के तत्कालीन मुख्य सचिव पन्नालाल और गवर्नर सर मॉरिस हैलट से उनकी काफी खींचतान हुई। पर, रफी साहब द्विवेदी को रिहा करवाकर ही माने।’