বাড়িটির চারপাশের বাগানে প্রচুর গোলাপগাছ থাকায় এর নাম হয় ‘রোজ গার্ডেন’। বাংলাপিডিয়ার তথ্য অনুযায়ী, প্রায় সাত একর জমির ওপর গড়ে ওঠা এই প্রাসাদ ও বাগান একসময় ফুল, গাছপালা, ঝরনা ও বিভিন্ন অলংকরণে সমৃদ্ধ ছিল।
রোজ গার্ডেন শুধু জমিদারি ও সামাজিক ইতিহাসের অংশ নয়, বাংলাদেশের চলচ্চিত্র ইতিহাসের সঙ্গেও এর সম্পর্ক রয়েছে। ১৯৬০-এর দশকে ভবনটি বেঙ্গল স্টুডিও অ্যান্ড মোশন পিকচার্স লিমিটেডের কাছে ইজারা দেওয়া হয়। এই সময়ে এখানে বহু চলচ্চিত্রের শুটিং হয়েছে। মুস্তাফিজ পরিচালিত জনপ্রিয় চলচ্চিত্র ‘হারানো দিন’ (১৯৬১)-এর শুটিংও রোজ গার্ডেনে হয়েছিল বলে জানা যায়।
রোজ গার্ডেনের ঐতিহাসিক ও স্থাপত্যিক গুরুত্ব বিবেচনায় ১৯৮৯ সালে প্রত্নতত্ত্ব অধিদপ্তর এটিকে সংরক্ষিত ভবন হিসেবে ঘোষণা করে। পরবর্তীতে মালিকানা নিয়ে আইনি জটিলতাও তৈরি হয়েছিল এবং আদালতের মাধ্যমে মালিকানা পুনরুদ্ধারের ঘটনাও ঘটে। ২০১৮ সালের ১৬ সেপ্টেম্বর বাংলাদেশ সরকার আনুষ্ঠানিকভাবে কাজী পরিবারের কাছ থেকে রোজ গার্ডেন প্যালেসটি ক্রয়ের সিদ্ধান্ত নেয়। সরকারি হিসাব অনুযায়ী এর মোট ক্রয়মূল্য ছিল ৩৩১ কোটি ৭০ লাখ ২৯ হাজার টাকা। পরবর্তীতে ভবনটিকে সঠিকভাবে সংরক্ষণ এবং জাদুঘর হিসেবে গড়ে তোলার পরিকল্পনা নেওয়া হয়।
