ચંદ્રમંદિરનું રહસ્યઘણાં સમય પહેલા સુર્યવંશી રાજાઓ અહીં રાજ કરતા હતાં. તે સમયે બંગાળ અડધું દરિયામાં હતું. પાંડુઆ સુર્યવંશીઓની રાજધાની હતી. તે સમયે તે દરિયાથી ત્રણેક કિલોમીટર દૂર હતી. જેથી દરિયા નજીકનો વિસ્તાર રેતાળ હતો અને તે બિન ઉપજાઉ પણ હતો. તે સમયે સુર્યવંશી રાજાઓના સુબેદારો તરીકે ચંદ્રવંશી રાજાઓ હતા. જેથી યુદ્ધમાં અને રાજ્ય વિસ્તારમાં ચંદ્રવંશી રાજાઓ મોટા પ્રમાણે મૃત્યુ પામતા અને રાજ્ય વિસ્તારમાંથી મળેલા સોના ઝવેરાત બધાજ સુર્યવંશી રાજાને સોંપવા પડતાં. જો રાજા ખુશ થાય તો જ તેનો થોડો હિસ્સો મળતો. તેમ છતાં ચંદ્રવંશી સુબાઓએ તેમની રાજ્ય વિસ્તારની નીતિ ચાલુ રાખી. સમય જતાં સુર્યવંશીઓના રાજ્યનો વિસ્તાર થયો. સુબાએ જીતેલા નવા