ประเพณีที่จัดอย่างต่อเนื่องตั้งแต่รุ่นบรรพบุรุษคือ ประเพณีแห่ผ้าขึ้นถ้ำ สำหรับการแห่ผ้าขึ้นถ้ำในสมัยก่อนไม่มีทางเดินที่สะดวกเช่นทุกวันนี้ เมื่อถึงช่วงวันวิสาขบูชาผู้เฒ่า ผู้แก่ 10-20 คนจะร่วมกันแห่ผ้าขึ้นไปบนถ้ำตามทางเดินที่เป็นป่ารกเพื่อไปสักการะพระในถ้ำและถือปฎิบัติกันมาจวบจนปัจจุบัน

เรื่องราวความศักดิ์สิทธิ์ของ "เจ้าถ้ำเขาพรง" สำหรับถ้ำเขาพรงถือเป็นถ้ำศักดิ์สิทธิ์ บ้างก็ถูกกล่าวขานว่าเป็นถ้ำพิศดาร ณ สถานที่แห่งนี้ชาวบ้านเชื่อว่ามีสิ่งศักดิ์สิทธิ์สถิตอยู่นั้นคือ "เจ้าถ้ำเขาพรง" หลายคนมาบนบานเพื่อขอในสิ่งที่ปรารถนา เมื่อได้ตามที่ขอก็จะมาแก้บน ครั้งหนึ่งจากคำบอกเล่าของนายวิชัย อาจหาญเล่าถึงความศักดิ์สิทธิ์ของถ้ำเขาพรงว่า เคยมีเด็ก ๆ 5 คนเข้าไปชมความงามในถ้ำแต่กลับออกมาไม่ได้เพราะหลงทาง บิดาของเด็ก ๆ มาชักชวนให้นายวิชัย อาจหาญช่วยขึ้นไปตามเด็ก ๆ ในถ้ำ หลังจากนั้นนายวิชัย อาจหาญและพวกอีก 10 คนได้เดินทางขึ้นไปยังถ้ำ เมื่อขึ้นไปสักระยะหนึ่งมีคนในกลุ่มพูดกับนายวิชัย อาจหาญว่า "ได้ยินเสียงคนอีกกลุ่มหนึ่งอยู่บนเขา" (นายวิชัย อาจหาญเองก็ได้ยินเช่นกันแต่ลือกที่จะเงียบไม่บอกว่าได้ยิน) เมื่อไปถึงปากถ้ำพบเสียงเหมือนมีคนมาทำบุญมากมายอยู่ในถ้ำ แต่เมื่อเดินเข้าไปกลับไม่พบใครสักคน เมื่อเดินเข้าไปเรื่อย ๆ ก็พบเด็กทั้ง 5 คนในสภาพอิดโรย คนที่ไปตามหาจึงช่วยกันอุ้มเด็กเหล่านั้นลงมา เมื่อออกมาถึงหน้าถ้ำเด็ก ๆ มีท่าทางแปลก ๆ คล้ายจะสิ้นลม นายวิชัย อาจหาญจึงไปหาพ่อเชย (หมอผีรักษา) พ่อเชยบอกกับนายวิชัย อาจหาญว่า "เจ้าถ้ำเขาพรง" โกรธเด็ก ๆ พ่อเชยจึงทำพิธีขอขมาท้ายที่สุดอาการเด็ก ๆ จึงค่อย ๆ ดีขึ้น นอกจากเรื่องเล่าของเด็ก ๆ ที่หายตัวไปในถ้ำแล้วยังมีเรื่องเล่าขานกันว่า เคยมีนักแสวงโชคเข้าไปหาสมบัติภายในถ้ำและทุบตีพระพุทธรูปที่อยู่ในถ้ำ เช่น ตัดเศียรพระ ทุบฐานพระ เนื่องจากเชื่อว่ามีแก้ว แหวน เงิน ทองอยู่ในนั้นแต่แล้วเรื่องไม่คาดคิดก็เกิดขึ้น คือ เหล่านักแสวงโชคเหล่านั้นต้องมีอันเป็นไปไม่อย่างใดก็อย่างหนึ่ง ชาวบ้านเชื่อกันว่าเป็นเพราะบารมีของเจ้าถ้ำเขาพรงที่ปกปักรักษาสมบัติของถ้ำไว้ เรื่องราวอันศักดิ์สิทธิ์อีกเรื่องหนึ่งของเจ้าถ้ำเขาพรง คือ ครั้งหนึ่งเคยมีเฮลิคอปเตอร์ของทหาร บินมาจากทางค่ายแถวชายแดนใต้เกิดเสียหลักขณะบินผ่านบริเวณอำเภอท่าศาลาและอำเภอสิชล จังหวัดนครศรีธรรมราช ช่วงที่เฮลิคอปเตอร์เสียหลักนักบินได้ดีดตัวออกจากเครื่องบริเวณ ตำบลเปลี่ยน อำเภอสิชล จังหวัดนครศรีธรรมราช หลังจากนักบินดีดตัวออก เฮลิคอปเตอร์ยังคงบินมาเรื่อย ๆ กระทั่งมาถึงเขาพรงเฮลิคอปเตอร์มีทีท่าว่าจะตกลงบนเขาลูกนี้ ซึ่งในตอนนั้นได้มีชาวบ้านทำบุญอยู่ที่วัดจำนวนมาก แต่เรื่องที่น่าอัศจรรย์คือ เครื่องกลับแหงนหน้าขึ้นและไปตกยังที่ ๆ ไม่มีคนทั้งที่ไม่มีคนบังคับตัวเฮลิคอปเตอร์ ชาวบ้านจึงเชื่อกันว่า ที่รอดพ้นจากอุบัติเหตุคราวนี้เป็นเพราะบารมีของเจ้าถ้ำเขาพรง หากใครลักขโมยอะไรไปต้องนำมาคืนที่เดิมมิฉะนั้นจะต้องอยู่ไม่เป็นสุข

“วิสาขบูชาแห่ผ้าขึ้นถ้ำ” จัดขึ้นในวันวิสาขบูชา ตรงกับวันเพ็ญ (ขึ้น 15 ค่ำ) เดือน 6 หรือเดือนเวสาขะ ประเพณีนี้จัดขึ้นเพื่อฟื้นฟูถ้ำเขาพรงให้กลับสู่แหล่งท่องเที่ยวสำคัญของอำเภอสิชล กิจกรรมถูกจัดขึ้นบริเวณสำนักสงฆ์ถ้ำเขาพรง พิธีกรรมสำคัญคือ แห่ผ้าพระบฏขึ้นไปห่อองค์พระในถ้ำเขาพรง โดยมีการจัดริ้วขบวนอย่างสวยงาม เริ่มแห่ผ้าพระบฏตั้งแต่ลานเอนกประสงค์ เดินเป็นขบวนตามแนวถนนจนถึงอุโบสถ และริ้วขบวนจะนำผ้าพระบฏหรือผ้าสี เครื่องสักการะอื่น ๆ เดินทางต่อไปยังถ้ำและนำผ้าพระบฎไปห่มองค์พระในถ้ำ