কথিত আছে ১৬৬৫ সালে তৎকালীন মল্লরাজা বীরমল্ল রানী শিরোমণির ইচ্ছাপূরণে বিষ্ণুপুর শহরের মাধবগঞ্জে প্রতিষ্ঠা করেন মাকড়া পাথরের বিশাল রাধা মদনগোপাল জিউ মন্দির। এই মন্দির প্রতিষ্ঠার অল্পদিনের মধ্যেই মন্দিরের আদলে পিতলের রথ নির্মাণ করে মন্দির চত্বরেই শুরু হয় রথযাত্রা উৎসব। শোনা যায়, সেসময় গোটা মল্লভূমের মানুষ রথযাত্রা দেখতে হাজির হতেন বিষ্ণুপুরের মাধবগঞ্জে। সাত দিন ধরে কীর্তন, পালাগান, নামগান সহ বিভিন্ন অনুষ্ঠানে মেতে থাকত বিষ্ণুপুর।এখন রাজা নেই, রাজত্বও নেই, কিন্তু রথযাত্রা ঘিরে উৎসব এখনও আছে। বিষ্ণুপুরের সাধারণ মানুষই কাঁধে তুলে নিয়েছেন ঐতিহ্যবাহী এই রথযাত্রার দায়িত্ব। রীতি মেনে কীর্তন সহযোগে এদিন মন্দিরের গর্ভগৃহ থেকে শোভাযাত্রা করে রাধা মদনগোপাল জিউ-এর বিগ্রহ নিয়ে যাওয়া হয় রথের মাঠে। রথে বসানো হয় বিগ্রহ। তারপর শুরু হয় আরতি ও পুজো। পরে রথের রশিতে টান দেন হাজার হাজার মানুষ।