ประวัติของวัดสวนขันเล่าสืบกันมาว่า ครั้งแรกได้ตั้งวัดขึ้นที่บริเวณควนวัดซึ่งเป็นเนินเตี้ยๆ อยู่ติดกับถนนจันดี-สวนขัน (ตรงหมู่ที่๒ ตำบลสวนขันในปัจจุบัน) ไม่นานก็เลิกร้างไป ได้มาตั้งวัดใหม่อีกครั้งริมลำคลองมีแอ่งน้ำ ซึ่งใช้เป็นที่ปลูกศาลากลางน้ำ เป็นสถานที่บวชพระเณรแทนพระอุโบสถ อยู่มาไม่นานก็ต้องย้ายที่ใหม่อีกครั้ง แต่ใกล้สถานที่เดิม โดยอยู่เหนือลำน้ำ ขึ้นไปทางทิศตะวันออก เรียกชื่อว่าวัดมังคุดด้วน หรือเรียกสั้นๆว่าวัดคุดด้วน เนื่องจากมีต้นมังคุดอยู่ในบริเวณนั้น และมียอดหักด้วน จึงได้นำชื่อนี้มาใช้ในการเรียกชื่อวัด ลำคลองและหมู่บ้าน ซึ่งบริเวณที่กล่าวมาข้างต้นนี้คือที่ตั้ง ของวัดราษฎร์บำรุง(วัดใต้)ในปัจจุบัน วัดตั้งอยู่ที่วัดคุดด้วนนี้มาหลายสิบปีน้ำได้เซาะตลิ่งพังลงทุกปี มักถูกน้ำท่วมบ่อยๆ และสถานที่มีความคับแคบ จึงได้ย้ายวัดอีกครั้ง ได้ทำการย้ายวัดขึ้นไปทางเหนือของคลองคุดด้วน ได้สร้างวัดขึ้นมาใหม่ ในป่าไม้ขัน อันเป็นที่สวนของผู้มีจิตศรัทธาชื่ออินทร์และจันทร์ โดยได้ถวายที่ให้วัดประมาณ ๑๐ ไร่ โดยมีชาวบ้านช่วยกัน บริจาคคนละเล็กละน้อย และพร้อมใจกันตั้งชื่อวัดว่าวัดสวนขัน อันคำว่าขันนี้เป็นชื่อของต้นไม้ชนิดหนึ่ง มีผู้เล่าว่าใน บริเวณวัดมีไม้ขันอยู่หลายต้น แต่ต่อมาได้ล้มหายตายจากไปหมดไม่เหลือไว้ให้เป็นสัญลักษณ์ของวัดอยู่เลย เยี่ยมชมเพจ....วัดราษฏร์บำรุง วัดใต้-คุดด้วน นครศรีธรรมราช https://www.facebook.com/profile.php?id=100071004852051