สำหรับศาลพ่อขุนทะเลเป็นอีกศาลหนึ่งที่ถูกสร้างขึ้นในบนิเวชณบ้านปากน้ำ กล่าวคือแต่เดิมบริเวณที่ตั้งศาลเป็นปากน้ำสิชลมีหินก้อนใหญ่อยู่ก้อนหนึ่ง เมื่อเรือวิ่งเข้ามาจะสะดุดก้อนหินก้อนนั้นส่งผลกระทบต่อการเดินเรือ ทำให้เวลาการเดินเรือช้าลง ทหารเรือจึงต้องมาดำนำเพื่อระเบิดหิน ครั้งนั้นทหารเรือเคยมาสร้างร่องน้ำแต่ไม่สำเร็จ กรมอุทกศาสตร์จึงต้องระเบิดหิน ขณะระเบิดเกิดอุบัติเหตุอยู่หลาบครั้งส่งผลให้ทหารไม่กล้าระเบิดอีกต่อไป กรมอุทกศาสตร์จึงเชิญนายกมลรองผู้ว่าราชการจังหวัดในขณะนั้นมาทำพิธีจึงสามารถระเบิดหินได้ ขณะที่ทหารเรือกำลังระเบิดหินพบกับพวงมาลัยเรือเลยนำประดับไว้บนหิน (เมื่อก่อนที่ศาลจะมีหินอยู่ก้อนหนึ่ง) และตั้งชื่อเป็นศาลพ่อขุนทะเล ต่อมากลุ่มเกษตรกรสิชลระดมทุนสร้างศาลหลังจากนั้นเทศบาลสิชลเข้ามามีส่วนร่วมในการพัฒนา ปัจจุบันเขตพื้นที่เป็นการดูแลของเทศบาล