பிரெஞ்சுக்காரர்கள் ஆட்சிகாலத்தில் கி.பி.1688ல் பிரெஞ்சுகாரர்கள் தங்களுக்காக கோட்டை ஒன்று கட்டினர். இக்கோட்டைக்கு பின்புறம் அமைந்திருந்த கோயிலே மணக்குள விநாயகர் திருக்கோயில். இத்திருத்தலத்தின் மேலண்டைப்பகுதியில் ஒரு குளம் இருந்ததாகவும் அது கடற்கரைக்கு அருகில் இருந்ததால் அவ்விடத்தில் மணல் அதிகமாக வந்ததாகவும் ஆகவே அக்குளத்திற்கு மணற்குளம் என்று பெயர் வந்ததாகவும் உறுதியாகச் சான்றுகளுடன் கூறுவர். புதுச் சேரியைப் பற்றி அறியக் கிடக்கின்ற பல தரப்பட்ட வரலாற்றுச் செய்திகள் இந்த உண்மையை வலியுறுத்துகின்றன. இந்த மணற்குளத்தின் கீழ்க் கரையில் தான் விநாயகர் ஆலயம் எழுப்பப் பட்டிருக்கின்றது. இதன் காரணமாக இந்த ஆலயத்திற்கு மணற்குள விநாயகர் ஆலயம் என்ற பெயர் பிரபலமாயிற்று.