Hòn Kẽm Đá Dừng cũng như con sông Thu Bồn chảy qua nó, đều gắn liền với nhiều truyền thuyết xa xưa. Dòng sông Thu Bồn thơ mộng chảy qua nhiều cụm núi đá, trong đó có Hòn Kẽm Đá Dừng như hai ngọn núi đá nhô ra, tắm mình trên sông nước, để rồi theo dòng chảy của thời gian, Hòn Kẽm Đá Dừng như được bàn tay của tạo hoá nắn nót thành những hình nét kỳ bí, ẩn mình trên những phiến đá, hoà quyện với thiên nhiên; cây rừng, sương mù, nắng ấm. Để rồi cùng những ngọn núi chung quanh như: núi Chúa, núi Cà Tang... tạo nên một bức tranh "sơn thuỷ hữu tình" trên dòng sông Thu thơ mộng. Vì thế mà từ bao đời nay đã lưu truyền câu ca dao: 

Ngó lên Hòn Kẽm Đá Dừng,

Thương cha nhớ mẹ quá chừng bạn ơi.

Đến với Hòn Kẽm Đá Dừng ngược dòng sông Thu từ Cửa Đại-Hội An hay đến từ sông Hàn -Đà Nẵng, sẽ là một cuộc du thuyền khá thú vị, trên dòng sông nước dài khoảng 30-40km, hoặc từ trung tâm thành phố Tam Kỳ, bằng ô tô, theo quốc lộp 1A về hướng bắc, đến ngã ba Hương An, rẽ trái về hướng tây nam khoảng độ 40km, du khách sẽ đến Hòn Kẽm Đá Dừng.