பழைய காலத்தில் சித்தர் பெருமக்களால் சிறிய அளவில் இந்த ஆலயம் கட்டப்பட்டது என்ற செவிவழிச் செய்தி உள்ளது.
இந்த ஆலயம் பல்லவர்கள் காலத்தில் 34 கோட்டங்காளாக பிரிக்கப்பட்ட தொண்டை நாட்டில் புலியூர் கோட்டத்தை சேர்ந்த பிரதேசமாக இருந்தது.
பாண்டிய மன்னர்கள் காலத் தில் ஹரிசரணாலய நல்லூர் என்ற பெயரால் வழங்கப்பட்டது.
இத்திருத்தலம் பின்னாளில் திருமணம் என்று அழைக்கப்பட்ட பின்னரே சித்துக்காடு, சித்தர்காடு என்று அழைக்கப்பட்டது.
தற்போது திருமணம் கிராமம் என்றே அழைக்கப்பட்டு வருகின்றது.
சித்தர்களால் ஆதி காலத்தில் எழுப்பப்பெற்ற இந்த ஆலயம் பாண்டிய மன்னனான முதல் சடையவர்மன் சுந்தர பாண்டியனால் கற்றளியால் கட்டப்பட்டது.
கி.பி. 1251 முதல் கி.பி. 1271ம் ஆண்டு வரை ஆட்சி செய்தவன்.
என்றும் கி.பி. 1271ம் ஆண்டு இவன் இறைவன் திருவடியை சேர்ந்தான்.
இந்த பாண்டிய மன்னன் எம் மண்டலமும் கொண்டருளிய ஸ்ரீ சுந்தர பாண்டிய தேவர் என சிறப்பிக்கப்பெற்றவன்.
இம்மன்னன் சேர வேந்தர்களையும் சோழ வேந்தர்களையும் போசள மன்னர்களையும் போரில் புறமுதுகிட்டு ஓட செய்தவன்.
மேலும் வாணர்களது நாட்டையும், கொங்கு நாட்டையும் கைக் கொண்டவன்.
போரில் பல வெற்றிகளைக் கொண்ட சடையவர்மன் சுந்தர பாண்டியன் அநேக திருக்கோவில்களுக்கு இறையிலியாக நிலங்களையும், கோவில் பூஜைகள் எவ்வித தடங்கலும் இன்றி நடைபெறுவதற்கான வழிவகைகளையும் செய்தவன்.
இம்மன்னன் ஸ்ரீரங்கத்துக்கு சென்று திருமாலை வணங்கி கோவிலையும் பொன் வேய்ந்து முடிசூடிக் கொண்டதோடு பல துலாபர தானங்களும் செய்தான்.
ஸ்ரீரங்கத்துக்கு இம்மன்னன் செய்த திருப் பணிகளும், விட்ட நிவந்தங்களும், அளித்த அணிகலன்களும் பலவாகும்.
எனவே இம்மன்னன் "கோவில் பொன் வேய்ந்த பெருமான்" எனும் சிறப்பு விருதினை பெற்றவன்.
இதேபோன்று திருவானைக்கால் திருக்கோவிலுக்கும் இவன் சேர மன்னனை வென்று வாகை சூடியவன்.
இந்த ஆலய இறைவனை வணங்கி "சேரனை வென்றான் திருநாள்" ஈன்ற விழாவையும் நடத்தி உள்ளான்.
இந்த சடையவர்மன் சுந்தரபாண்டிய மன்னன் காஞ்சீபுரம் மாவட்டத்தில் உள்ள திருபுட்குழி திருமால் கோவிலில் திருப்பணிகள் செய்ததை கண்ட புலவர் ஒருவர் இவன்மீது ஒரு புகழ் பாடல் ஒன்றை புனைந்து பாடினார்.
இவ்வேந்தன் சமயம் பாராட்டாது சிவனார் ஆலயங்களையும், திருமால் ஆலயங்களையும் புதிதாக எழுப்பிய சிறப்பு கொண்டவன்.
இந்த சித்தர் காடு எனும் ஊரில் உள்ள சுந்தர ராஜ பெருமாள் கோவிலும், தாத்ரீஸ்வரர் கோவிலும் கட்டப்பட்டது.
இதனை இங்குள்ள பெருமாள் கோவிலில் உள்ள கல்வெட்டுக்களால் அறியலாம்.