ആറ്റുകാല്‍ പ്രദേശത്ത് അതിപുരാതനമായ നായര്‍ ഭവനങ്ങള്‍ ഉണ്ടായിരുന്നു. ഇന്ന് ക്ഷേത്രം നില്‍ക്കുന്ന സ്ഥലത്ത് ഒരു ഭഗവതിക്കാവും. ഇവിടെ ചാമുണ്ഡി, നാഗര്‍, മാടന്‍ തമ്പുരാന്‍ എന്നിവരെ കുടിയിരുത്തി ആരാധിച്ചിരുന്നു. ഈ പ്രദേശത്തെ പ്രശസ്തമായ ഒരു നായര്‍ തറവാടായിരുന്നു ചെറുകര വലിയ വീട്. രാജഭക്തിക്കു പേരുകേട്ട ചെറുകര വലിയ വീട് മൂന്നു ശാഖകളായി പിരിഞ്ഞു.

ചെറുകര വലിയ കിഴക്കത്, ചെറുകര കൊച്ചു കിഴക്കത്, മുല്ലവീട്.
ഇപ്പോള്‍ ക്ഷേത്രമിരിക്കുന്നതിന്‍റെ തൊട്ടുപടിഞ്ഞാറു വശത്തായിരുന്നു മുല്ലവീട്.

മുല്ലവീട്ടിലെ കാരണവര്‍ പരമഭക്തനും ദേവീ ഉപാസകനുമായിരുന്നു. ഒരു ഇടവപ്പാതിക്കാലത്ത് കിളളിയാറ്റില്‍ കുളിക്കാനിറങ്ങിയ കാരണവര്‍ ആറ്റിന്‍റെ അക്കരെ മഹാതേജസ്വിയായ ഒരു ബാലികയെ കണ്ടു. ‘എന്നെ അക്കരെ കടത്തി വിടാമോ’ എന്ന് കുട്ടി ചോദിച്ചു.

കാരണവര്‍ കുട്ടിയെ ഇക്കരെയാക്കി സ്വഭവനത്തില്‍ കൊണ്ടുപോയി ഭക്ഷണം കൊടുക്കാന്‍ നിശ്ചയിച്ചു. ഭക്ഷണവുമായി കാരണവരെത്തിയപ്പോള്‍ ബാലികയെ കാണാനില്ല. അസ്വസ്ഥമായ മനസ്സോടെ രാത്രി ഉറങ്ങാന്‍ കിടന്ന കാരണവര്‍ക്ക് മുമ്പില്‍ ദേവീരൂപം ധരിച്ച് ബാലിക പ്രത്യക്ഷയായി. ദേവി നിര്‍ദ്ദേശിച്ച സ്ഥലത്ത് ഭഗവതിയെ ആവാഹിച്ച് പ്രതിഷ്ഠിച്ചു. ഓലമേഞ്ഞ ഒരു ശ്രീകോവിലും പണിയിച്ചു.

പിന്നീട് ശ്രീമൂലം തിരുനാളിന്‍റെ കാലത്ത് ക്ഷേത്രം പുതുക്കുപ്പണിതു. ഒരു മഴക്കാലത്ത് കൊടുങ്കാറ്റില്‍ മരം കടപുഴകി വീണ് ക്ഷേത്രം തകര്‍ന്നു.

പിന്നീട് കൊല്ലവര്‍ഷം 1012-ല്‍ ക്ഷേത്രം പുതുക്കിപ്പണിതു. വരിക്കപ്ലാവിന്‍റെ തടികൊണ്ട് ചതുര്‍ബാഹുവായ ദേവീവിഗ്രഹം പണി കഴിപ്പിച്ചു. കൈകളില്‍ വാള്‍, ശൂലം, പരിച, കങ്കാളം എന്നിവയുണ്ടായിരുന്നു.