காளஹஸ்தி கோவிலின் வெளிப்பிரகாரத்தில் பாதாள கணபதி கோவில் உள்ளது. ஒரு முறை அகத்திய முனிவர், சிவனையும், விநாயகரையும் வழிபட மறந்து விட்டார். இதனால் விநாயகப்பெருமான் கோபம் கொண்டார். அவரது கோபத்தின் காரணமாக, காளஹஸ்தியை ஒட்டி ஓடும் பொன்முகலி என்ற சொர்ணமுகி ஆறு வற்றிவிட்டது. இதையடுத்து தனது தவறை உணர்ந்த அகத்தியர், விநாயகப்பெருமானை பிரதிஷ்டை செய்து பூஜித்து வழிபட்டார். அந்த வழிபாட்டால் மகிழ்ந்த விநாயகர், அகத்தியருக்கு அருளாசி வழங்கினார். இந்த ஆலயமே பாதாள விநாயகர் ஆவார்.
காலப்போக்கில் விநாயகர் கோவில் இருந்த பகுதியை விட, அதைச் சுற்றியிருந்த பகுதிகள் எல்லாம் உயர்ந்து விட்டன. அதனால் விநாயகர் கோவில் பாதாளத்திற்குள் போய் விட்டது. இதனால் இங்குள்ள விநாயகர், ‘பாதாள கணபதி’ என்று அழைக்கப்படுகிறார். படிக்கட்டுகள் வழியே 20 அடி கீழே இறங்கிச் சென்று இந்த விநாயகரை வழிபட வேண்டும்.
