มื่อ พ.ศ.2515 คณะกรรมการของสำนักปู่สวรรค์ได้ขยายกิจการ  โดยมีจุดมุ่งหมายที่จะจัดตั้งสำนักสงฆ์ขึ้น ที่เทือกเขาเสือหมอบหรือเขาถ้ำพระ ต.ดอนทราย อ.ปากท่อ จ.ราชบุรี ซึ่งเป็นโบราณสถานแห่งชาติ ภายใต้ความดูแลของกรมศิลปากร เพราะถือกันว่าสถานที่นี้คือ จุดทอแสงของพระพุทธศาสนาในสุวรรณภูมิ โดยเป็นที่พำนักของพระอรหันต์สำคัญ 2 องค์ 

ถ้ำสาริกา จุดพักของคณะธรรมทูต จากอินเดีย เพื่อมาเผยแพร่ พระพุทธศาสนาในสุวรรณภูมิ คือพระโสณะ และพระอุตตระ เมื่อแรกนำคณะธรรมทูตเดินทางมาเผยแพร่ พระพุทธศาสนา ในดินแดนสุวรรณภูมิประเทศ

เขาถ้ำพระ เป็นภูเขาที่สวยงาม แต่เมื่อ 20 ปีเศษมาแล้ว ในอดีตก่อนที่หุบผาสวรรค์จะมาดำเนินงานเคยเป็น ที่ซ่องสุมของมิจฉาชีพ และผู้ก่อการร้าย ทั้งนักธุรกิจเข้าไปประกอบการระเบิดหินด้วยศาสตราจารย์ ดร.คลุ้ม วัชโรบล กรรมการสำนักปู่สวรรค์ ได้ขอเข้าพบ น.อ.สมภพ ภิรมย์ อธิบดีกรมศิลปกร ในสมัยนั้น ขออนุญาตเข้าไปจัดตั้งสำนักปฎิบัติธรรม และหวังที่จะสร้างปูชนียวัตถุขึ้น เพื่อให้คนเกรงกลัวต่อบาป ทั้งนี้อธิบดีกรมศิลปกรให้ความเห็นชอบ

ด้วยจะเป็นการช่วยอนุรักษ์โบราณสถานแห่งนี้ น.อ.สมภพ ภิรมย์อนุญาตให้ ดร.คลุ้ม วัชโรบล ใช้ที่ดินในโบราณสถานเขาถ้ำพระ ที่มา a.blogspot.com/2010/08/blog-post_31.html