மதுரையை ஆண்ட மலையத்துவஜ பாண்டியன் பிள்ளைப்பேறு இல்லாமல் கவலைக்குள்ளானார். இதற்காக புத்திரகாமேஷ்டி யாகம் செய்ய தீர்மானித்தார். யாகத்திற்கு முன்பு, வடநாட்டிற்கு யாத்திரை செய்து, கயிலாயம் தரிசிக்கச் செல்ல அந்தணர்கள் ஆலோசனை வழங்கினர். மனைவி காஞ்சனமாலையுடன் பயணமாகி செல்லும் வழியில், அசரீரி ஓசையாய் "மனமே கயிலாயம்!" என ஒலித்தது. இதை கேட்ட உடனே, பாண்டியன் சிவபக்தியில் லயித்தார்.

அங்கேயே சிவனை வழிபட்டு, கயிலாய தரிசனத்தின் பலனை பெற்றார். இதனால், அந்த இடத்தில் கைலாசநாதர் எனும் திருநாமத்துடன் சிவபெருமான் எழுந்தருளினார்.

வேம்பத்தூரில் கவிராஜ பண்டிதர் என்ற பக்தன் ஆவுடைநாயகி அம்பாளை தொடர்ந்து உபாசித்து வந்தார். ஒருநாள், காசிக்கு யாத்திரை செல்ல முடிவெடுத்தார். அவருடன் அவரது மகளும் சென்றாள். ஆனால், பாதி வழியில் மகளாகவே அம்பிகை உடன் சென்றாள்.

யாத்திரை முடிந்து வீடு திரும்பியபோது, மகளாக வந்த அம்பிகை திடீரென மறைந்துவிட்டாள். உண்மை மகளை பார்த்து, "நான் வாங்கிக் கொடுத்த வளையல் எங்கே?" என்று கேட்டார். ஆனால் மகள் ஆச்சரியத்துடன் "எப்போது வளையல் வாங்கித் தந்தீர்கள்?" என்று கேட்டாள்.

அப்போது, அம்பிகை திருநிலையிலிருந்து தோன்றி, "இதோ வளையல்!" என்று கையசைத்து மறைந்தாள். இவ்வளவு தெய்வீக அனுபவம் பெற்ற கவிராஜ பண்டிதர், ஆதிசங்கரர் அருளிய சௌந்தர்ய லஹரி நூலை தமிழில் மொழிபெயர்த்த பெருமைக்குரியவர்.

அவரது ஜீவசமாதி வீரசோழத்தில் அமைந்துள்ளது, இது "ஐயர் சமாதி" என்று அழைக்கப்படுகிறது.

கைலாசநாதர் திருக்கோயிலில் விநாயகர், முருகன், நடராஜர், பைரவர், சூரியன், சந்திரன், நவக்கிரகங்கள் போன்ற பரிவார தெய்வங்கள் உள்ளன. கோயிலுக்கு கிழக்கிலும் தெற்கிலும் வாசல்கள் இருக்கின்றன. கோயிலின் முன்பாக கைலாச தீர்த்தக் குளம் உள்ளது.

இத்தலம் மதுரை-ராமேஸ்வரம் நெடுஞ்சாலையில் திருப்பாச்சேத்தி சந்திப்பில் இருந்து 8 கி.மீ. தொலைவில் அமைந்துள்ளது.

இந்த ஆலயத்தில் வழிபடுபவர்களுக்கு சிவபெருமான் கைலாய தரிசன பலனை அருளுவார் என்று பக்தர்கள் நம்பிக்கை வைத்துள்ளனர்.