சுமார் 2 ஆயிரம் ஆண்டுகளுக்கு முன்பு இந்த இடம் நெல்லி மரங்கள் கொண்ட வனமாக இருந்தது.
ஒரு நெல்லி மரத்தின் அடியில் சித்தர்கள் லிங்கத்தை பிரதிஷ்டை செய்து வழிபட்டனர்.
அந்த லிங்கத்துக்கு "நெல்லியப்பர்" என்று சித்தர்கள் பெயர் சூட்டியிருந்தனர்.
நெல்லியை சமஸ்கிருதத்தில் "தாத்திரி" என்பார்கள்.
அதன்படி இந்த இறைவன் தாத்திரீஸ்வர் என்றும் அழைக்கப்படுகிறார்.
தாத்திரீஸ்வரருக்கு இடது புறம் தென் திசையை பார்த்தவாறு பூங்குழலி அம்மைக்கு தனி சன்னதி அமைத்து சித்தர்கள் வழிபட்டனர்.
வட மொழியில்இந்த அன்னை, ஸ்ரீபிரசூன குந்தளாம்பிகை என்று அழைக்கப்படுகிறார்.
பாண்டிய மன்னர்கள் நெல்லியப்பரையும், பூங்குழி அம்மையையும் பிரதானமாக வைத்து ஆலயத்தை கட்டிய போது கருவறையை சுற்றி ஒரு பிரகாரம் அமைத்தனர்.
அந்த பிரகாரத்தில் உள்ள தூண்களில்தான் சித்தர்களின் உருவங்கள் செதுக்கப்பட்டுள்ளன.
ஒவ்வொரு தூணிலும் 4 சித்தர்கள் வீதம் பல சித்தர்களின் உருவங்களை அங்கு காண முடிகிறது.
அந்த சித்தர்கள் அந்த பகுதியில் ஒன்றாக ஜீவ சமாதியாகி அடங்கி இருக்கலாம் என்று ஒரு சாரார் சொல்கிறார்கள்.
ஆனால் ஆலய அர்ச்சகர்கள் உள்பட மற்றொரு சாரார் அதை மறுக்கிறார்கள்.
என்றாலும் சித்தர்கள் அங்கு இருந்தனர் என்பது உறுதியாகி உள்ளது.
முதல் கட்டமாக 9 சித்தர்கள் பற்றி தெரிய வந்துள்ளது.
அவர்களில் 3 பேரின் பெயர்கள் ஸ்ரீபடுக்கை ஜடை சித்தர், ஸ்ரீபிராண தீபிகா சித்தர், கருடக்கொடி சித்தர் என்று கண்டுபிடிக்கப்பட்டுள்ளது.
