文笔塔位于红梅公园南端，始建于南朝齐高祖萧道成建元年间（479－482年），名建元寺，俗称塔下寺，后改称太平寺。太平寺塔因巍冠郡中，形似文笔，又称文笔塔，被常州文人视为笔魂。塔寺历经兴废，宋代诗人杨万里有“太平古寺劫灰余，夕阳惟照一塔孤”的诗句。现塔为美籍华人刘璧如等资助，于1982年11月修复对外开放。塔高48.38米，砖木结构，7级8面，中有旋梯，登塔远眺，令人赏心悦目。塔区内另有文笔楼、塔影山房、笔架山等建筑景物。