字孔昭、石山、石出，號半隱、耘叟，晚號石山農、石山居士，四川遂寧人，僑居江蘇泰州，呂大器（1586-1649）子。崇禎十六年（1643）進士，官行人，授太常博士。李自成攻陷北京，其父呂大器奔南京，以彈劾馬士英去官，入廣東。呂潛奉母寓於浙江省之苕溪（今湖州市），復流寓揚州。不久，呂潛聞父病逝都勻（今貴州都勻市），繼遭母喪。身逢亂世，江流離遷，嘗盡人世之苦。因蜀道險遠，逢滇黔之亂，實難歸葬，時至康熙二十四年（1685）始扶父母靈柩歸里安葬。

      呂潛離蜀時，生女方五月。返故里時，原嬰孩之女已四十有六。呂潛驚其老，遂掩泣而吟流離之句：「儼然成化鶴，遂已脫風塵。皓首淒涼淚，青林躑躅身。」自此，命其樓曰「課耕」。讀書之餘，則倘佯於山水之間，往來湖州與揚州之間前後達四十餘年。入清不仕，以詩書畫娛老，時稱「詩書畫三絕」。

      著有《守閑堂集》、《歸懷草堂集》、《抵里》、《課耕堂集》行世。《蜀明詩》錄其詩二十首。《遂寧縣志》有傳。