মৃত্যুকালে তিনি স্ত্রী, ৪ মেয়েসহ অসংখ্য গুনগ্রাহী ও আত্মীয়স্বজন রেখে গেছেন। স্বর্গীয় গিরিধারী রায় তার কর্মকালীন সময়ের অসংখ্য ছাত্র রয়েছে। যারা আজ দেশ ও বিদেশে বিভিন্ন উচ্চ ও বিভিন্ন পর্যায়ে কাজ করছেন। তাঁর মৃত্যুতে ব্রাহ্মণবাড়িয়াবাসী একজন গুনী শিক্ষক ও অভিভাবককে হারালো।
