जब विवेकानंद ने देखा अमरनाथ यात्रा के दौरान मां काली को

वह प्रतिदिन एक बालिका में साक्षात काली मां के दर्शन कर उसकी पूजा करते थे। एक दिन उन्होंने श्रद्धालु जनों के बीच प्रवचन में कहा, काली सृष्टि और विनाश, जीवन-मृत्यु, भले और बुरे, सुख और दुख से युक्त संपूर्ण ब्रह्मांड का प्रतिनिधित्व करती हैं। उनका वर्ण काला दिखता है, पर अंतरंग द्रष्टा के लिए वह वर्णहीन हैं।

स्वामी जी ने कहा, अत्याचारियों-दुर्जनों का संहार करते समय गले में मुंडमाल पहने, शस्त्र धारण किए, जिह्वा से टपकते रुधिर को देखकर अनायास आभास होता है कि वह आतंक की प्रतिमूर्ति हैं, जबकि वह भक्तों के लिए सौम्य और कृपामयी हैं।

उन्होंने कहा, ब्रह्म और काली, ईश्वर और उनकी क्रियाशक्ति-अग्नि और उसका दाहिका शक्ति के समान एक और अभेद हैं। उनके गुरु रामकृष्ण परमहंस ने मृत्यु से पूर्व कहा था, नरेन, मां काली तेरा पग-पग पर साक्षात मार्गदर्शन करती रहेंगी।

जीवन के अंतिम दिनों में स्वामी जी जिधर भी जाते, उन्हें मां काली की उपस्थिति का बोध होता। उन्होंने कालीः द मदर कविता भी लिखी, जिसका निराला जी ने हिंदी में अनुवाद किया।