Trong đó, hòn Phụ có chiều cao 33,6 mét và hòn Tử cao 30 mét. Hòn Phụ Tử đó cao nghiêng nghiêng cùng một chiều, tượng trưng cho hình ảnh hai cha con quấn quít bên nhau cùng trông ra biển cả.

Chuyện kể rằng: vùng biển này khi xưa có con thuồng luồng thường hay đánh chìm tàu thuyền để ăn thịt ngư dân. Bấy giờ ở đó có hai cha con làm nghề đánh cá, do quá bất bình cảnh này nên quyết tâm tiêu diệt thuồng luồng trừ hại. 

Sau nhiều lần giao tranh thất bại, người cha bèn tính kế lấy thân mình làm mồi cho thuồng luồng. Ông tẩm thuốc độc khắp mình rồi nằm kề mép biển để dụ ác thú. Sau đó con thuồng luồng từ dưới biển ngoi lên ăn thịt người cha, rồi trúng độc mà chết. Người con đi tìm cha, chỉ thấy một phần xác nằm trên bờ biển, liền ôm lấy mà khóc. Không ngờ chất độc ngấm vào cơ thể, người con cũng trúng độc chết. 

Cảm động trước sự hy sinh anh dũng của người cha, tình cảm hiếu đạo của người con, nên trời nổi giông bão liên tiếp mấy ngày liền, và nơi hai cha con chết bỗng mọc lên hai hòn đá một lớn một nhỏ. Hòn lớn là cha, hòn nhỏ là con. Dân làng biết ơn hai cha con nên gọi hai hòn đá ấy là Hòn Phụ Tử. Và Hòn Phụ Tử không chỉ là biểu tượng cho danh lam thắng cảnh ở Kiên Giang, mà trong đó còn tiềm ẩn tính nhân văn, tính giáo dục và đầy ắp tình người.

Bây giờ, tiếc cho Hòn Phụ Tử đã không còn giữ nguyên hiện trạng. Sự việc xảy ra lúc hơn 3 giờ sáng ngày 9/8 /2006. Sau cơn dông kèm theo mưa to và sóng mạnh, một phần của hòn Phụ bị gãy và đổ xuống biển. Phần bị gãy ước tính khoảng 20 mét, đường kính 20 mét, tổng trọng lượng xấp xỉ 1.000 tấn. Hiện tại, phần Phụ của Hòn Phụ Tử chỉ còn lại khoảng 13 mét, cùng với hòn Tử chơi vơi trên mặt biển. Từ đó, Hòn Phụ Tử còn có tên gọi khác là Hòn Mồ Côi.

Từ ngày hòn Phụ sụp đổ đến nay đúng 17 năm. Trong thời gian này, cũng có nhiều cuộc hội thảo bàn phương án phục dựng hòn Phụ, nhưng phương án nào thì kinh phí cũng quá lớn, nên bất thành. Giờ đây, danh thắng tuy có mai một, lượng khách không nhiều như xưa, nhưng hình ảnh và giá trị tinh thần của Hòn Phụ Tử vẫn còn khắc sâu trong tiềm thức nhiều thế hệ .