นายเชาวลิต อิศรเดชให้ข้อมูลว่าตั้งแต่เขาเกิดก็เห็นศาลแห่งนี้แล้วแต่เป็นแค่ศาลเล็ก ๆ ทำด้วยสังกะสี เวลาผ่านไปมีเถ้าแก่ในสิชลมาปรับปรุง เช่น โกเส โกติ้น เฮ้งซุ้ย เป็นต้น ถือเป็นศาลแรกในปากน้ำ นายสุธรรม วิชชุไตรภพให้ข้อมูลว่า เริ่มต้นชุมตรงนี้มีกลุ่มคน 3 กลุ่มอาศัยอยู่คือ หนึ่งกลุ่มชาวจีนที่อพยพมากเมืองจีนโดยการล่องเรือใบจากไหหลำมาขึ้นฝั่งบริเวณนี้และตั้งรกรากที่นี้ เมื่อกลุ่มคนจีนอพยพมาจึงมาตั้งศาลเจ้าตาปะขาว กลุ่มที่สองคือมุสลิมมาทำประมงหาปลา กลุ่มที่สามคือชาวไทยเข้ามาเป็นลูกจ้าง พื้นที่บริเวณนี้แรกว่าปากน้ำสิชล เมื่อครั้งอดีตปากน้ำสิชลยังไม่มีวัดหรือสถานที่ไว้สักการะสิ่งศักดิ์สิทธิ์ กลุ่มชาวจีนจึงตั้งศาลเจ้าขึ้นมาเรียกว่า “ศาลตาปะขาว” เพื่อไว้เป็นที่สักการะเมื่อต้องออกเรือไปทำธุระกิจ เดิมที่มีการตั้งศาลเจ้าเล็ก ๆ ไว้ 1 ศาลอยู่ด้านล่างของศาลปัจจุบัน มีป้ายบอกชื่อศาลเจ้าว่า “ศาลเจ้าตาปะขาว” ด้านในจะมีไม้แกะสลักเป็นรูปเทพเจ้าต่าง ๆ ลักษณะเป็นรูปขุนศึก รูปแกะสลักเหล่านี้กลุ่มชาวจีนได้นำลงเรือมาจากเมืองจีนแล้วนำขึ้นมาสักการะยังสถานที่นี้ อายุของศาลเจ้าไม่ทราบแน่ชัด นายสุธรรม วิชชุไตรภพกล่าวว่า ตั้งแต่เกิดได้เห็นศาลเจ้าตั้งอยู่ก่อนแล้ว ต่อมาคนรุ่นที่สองเช่น รุ่นบิดาของนายสุธรรม วิชชุไตรภพได้ร่วมกันพัฒนาศาลเจ้าจนมีความเจริญสูงสุดถึงขั้นรับคณะงิ้วมาแสดง (เริ่มประมาณปี พ.ศ. 2514) ต่อมามีการแสดงลิเก โนรา และหนังตะลุง และสุดท้ายคนรุ่นที่สามคือกลุ่มเด็กรุ่นใหม่ได้มีการบริหารศาลเจ้าให้ทุกคนสามารถเข้ามามีส่วนร้วมในการพัฒนาศาลเจ้า ใครสามารถเข้ามาเป็นเถ้าแก่ในการดูแลศาลเจ้าก็ได้โดยผ่านการสมัครเข้ามาและจะทำการทอดเบี้ย ในการตัดสินว่าใครจะได้เป็นเถ้าแก่ เถ้าแก่จะมีสิทธิ์ในการบริหารทุกอย่าง ส่วนผู้อาวุโสจะยกไว้เป็นที่ปรึกษา สำหรับความเชื่อของชาวปากน้ำที่ศรัทธาในศาลเจ้าตาปะขาวคือ เชื่อถือมาแต่ครั้งโบราณ และเหตุการณ์สำคัญอีกเหตุการณ์หนึ่งที่แสดงให้เห็นถึงความศรัทธาต่อศาลเจ้าตาปะขาวคือ เหตุการณ์ไฟไหม้ที่ปากน้ำ ชาวบ้านรีบเข้าไปช่วยกันดับไฟ และเรื่องโรคติดต่ออหิวาตะกะโรค และสุดท้ายเรื่องสงครามโลกครั้งที่ 2 มีเรือญี่ปุ่นมาจอดที่ปากน้ำสิชลแต่เข้ามาไม่ได้ ทุกครั้งที่เกิดเหตุชาวบ้านจะเห็นตาปะขาวมาแสดงกายและช่วยให้เหตุการณ์ผ่านพ้นไปได้ด้วยดี นายสุธรรม วิชชุไตรภพให้ความคิดเห็นเพิ่มเติมเกี่ยวกับความเชื่อที่มีต่อศาลตาปะขาวว่า ด้วยอาชีพประมงที่ทำอยู่ต้องเผชิญกับความอันตรายขณะออกทะเลจึงต้องหาเครื่องยึดเหนี่ยวจิตใจ ดังนั้นจึงเชื่อมั่นในศาลเจ้าตาปะขาวว่าสามารถคุ้มครองภัยให้กับชาวประมงได้ ทุกครั้งที่มีการออกเรือจะมีการบนบาน ขอพร จุดประทัดเพื่อเป็นการเบิกฤกษ์ มีการถวายหัวหมูบ้าง เครื่องไหว้เจ้าบ้างซึ่งชาวจีนเองมีประเพณีเหล่านี้อยู่แล้วก่อนออกเรือ เมื่อกล่าวถึงชาวจีนที่มาทำการค้าและครอบครองกรรมสิทธิ์ที่ดินแถบนี้นายสุธรรม วิชชุไตรภพให้ข้อมูลว่า มี 3 คนคือ หนึ่งพื้นที่ปากน้ำสิชลถึงตลาดบนบริเวณนี้ที่เป็นตลาดและพื้นที่ส่วนใหญ่ (เกือบทั้งหมด) จะเป็นของแจ็กช้าว (ตระกูลชีวานิชย์) สองแ”จ็กหมายโก้” (ปัจจุบันนามสกุล ศิริชล) จะครอบครองที่ดินทั้งทะเลและภูเขา และสามแจ็กกิมหู้ (ตระกูลวิชชุไตรภพ มารดาของนายสุธรรม วิชชุไตรภพถือครองกรรมสิทธิ์ที่ดิน) หากใครจะเข้ามาบริเวณนี้ค่อนข้างยากเพราะชาวจีนทั้งสามตระกูลข้างต้นได้ครอบครองหมดแล้ว กลุ่มคนทั้งสามนี้เองก็ศรัทธาในศาลตาปะขาวมาก นอกจากนี้นายสุธรรม วิชชุไตรภพให้ข้อมูลเพิ่มเติมว่า สิ่งศักดิ์สิทธิ์ที่อยู่ในศาลตาปะขาวหลังเก่ากับหลังใหม่เป็นคนละองค์กันเพราะตำนานไม่เหมือนกัน ศาลตาปะขาวหลังใหม่สร้างโดยคนในพื้นที่ แต่ศาลตาปะขาวหลังเก่า (องค์เล็ก) สร้างโดยชาวจีนที่แล่นเรือใบมาตามล่าปลาจะละเม็ดดำ ตามล่ามาจนถึงที่ตรงนี้ซึ่งเรียกว่าท่าเรือไฟ มาติดลมพายุอยู่แรมเดือนจึงใช้เวลาที่ออกเรือไม่ได้มาตั้งศาลตาปะขาว เดิมบริเวณตรงนี้ที่ตั้งศาลเก่าเป็นป่ารก ด้วยเหตุนี้เองนายสุธรรม วิชชุไตรภพจึงลคาดการว่าศาลตรงนี้มาจากไหหลำและต้นตะกูลของนายสุธรรม วิชชุไตรภพเองก็จะไหว้ที่ศาลเก่าทุกปี บริเวณแถบนี้จึงเป็นชาวจีนไหหลำเสียส่วนใหญ่