एक दौर वो भी आया, जब बहुगुणा ने कांग्रेस को अलविदा कह दिया था। तब कुछ समय के लिए इस भवन से कांग्रेस का झंडा गायब रहा, लेकिन उनकी फिर से कांग्रेस में वापसी के साथ ही कांग्रेस का झंडा दोबारा इस घर की शान बन गया। जनरल खंडूड़ी की मां जब तक जीवित रहीं, उनके आवास पर कांग्रेसी झंडा ही लहराया।
एचएन बहुगुणा के निधन के बाद उनके भांजे मेजर जनरल भुवन चंद्र खंडूड़ी सेना से सेवानिवृत्ति होने के बाद वर्ष 1991 में भाजपा में शामिल होकर परिवार की राजनीतिक विरासत को आगे बढ़ाया। जिसके बाद उनके घर पर फरवरी 2019 तक निरंतर भाजपा का झंडा लहराया।