潘茂名不但是岭南道教的先驱，他与古代先贤神农氏一样，德高望重，读易明诗，云游四方，遍尝百草，悬壶济世，炼制丹药，救治当时流行瘟疫，救活众多百姓，深受粤西人民敬仰，为世世代代传颂。晋代太熙元年（年）隋朝开皇18年（公元年）设立茂名县，是以潘茂名之名命县名，用以纪念潘茂名对粤西人民之恩德。唐贞观8年（公元年）又用潘茂名之姓改南宕州（贞观六年才改高州为南宕州）为潘州。孔镛、屈大均等人均有作品以缅怀潘真人。在中国历史上以姓命州、以名命县是否有先例，笔者未有考究。但可以肯定从古到今都属罕见。
相传潘茂名在提炼丹膏时，对炼丹之水的要求十分讲究，不用受到污染的山溪水及河水，而是要用特别清纯的龙泉水。为此，潘茂名在他的草药种植园内（即今高州城东门外的荖园村），开凿了一口水井，让它与龙山水脉相通，使井内流出的都是龙涎之泉，专门用作炼丹之用。潘茂名升仙之后，这口古井就留了下来，后人称之为“思前井”，取其思念前辈之意。宋《太平寰宇记》有载：“潘真人炼丹之水，味甚香美，煎茶试之，与诸水异。力士奏取其水归朝。
传说潘茂名上东山取药，下潘坡炼丹时，烟通鉴江西岸观山上的玉井则为白烟；烟通观山稍北一里仙井岭上的金井则为黄烟。观山是潘茂名坐石船飞升处，故又名升真冈。“山旧有升真观，既圮，石香炉犹存。明太守张邦伊即其遗址建观山寺。寺右为玉泉庵，玉井在焉。泉涸井堙，久沦榛莽。崇祯二年（），邑人李为相睿复，构亭于其侧，以志灵迹”（见《茂名县志稿（上）》。清嘉庆二十三年（），在观山之东建有潘仙殿以奉祀潘茂名。清高州知府蒋应泰有《观山怀潘仙诗》，雷州参将潘拱宸也有《观山怀潘仙诗》，署分巡道文星瑞：《观山有怀潘仙诗》等，均见于旧《高州府志》或旧《茂名县志》。
与观山隔江相对，有“仙易亭”，亦是纪念潘仙的遗迹，今已不存。清阮元监修的《广东通志》，对仙人潘茂名也有记述。
云游中国拜道士为师
潘茂名年少时好游玩，不治家业，常觉得自己所居住的南越偏僻蛮荒，“欲瞻中国之盛”，于是在西晋永嘉年间束装起行，一路往东北而去。经过新都（今浙江淳安县）石室，遇两道士对弈，于是停下观看良久，其中一道士问潘茂名：“子亦识此乎？”潘茂名回答：“入由蛇窦，出似雁行。”道士觉得茂名颇有悟性和慧根，赞其“若能修炼，可以轻举”。潘茂名当即拜道士为师，于后山学习炼丹和养生之法，一晃便是二十年。后有郭道士入山，对茂名谈起当时南北分裂、未能一统的形势，潘茂名再次萌生云游中国的意愿，于是辞别道士，背起行装来到东吴。
在建康（今南京），潘茂名听说茅山道士张玄宾“善谈虚无，广怀道法”，于是前往拜谒请教。张玄宾乃当世奇人，少时曾考取秀才，最初在河南汤阴西河拜蓟公为师，学习服食之法，后到登封少室山拜樊子明为师。樊子明向他传授了“遁变隐景”之道。张玄宾曾接受十六国时期石世龙（即石勒）之聘，辅佐他建立了后赵王朝。但是张玄宾觉得此举“虽应天数，终为乱世”，于是借尸解遁回少室山（道教有尸解仙之说），后领玉帝敕命，到华阳司职雨水之官。张玄宾见潘茂名诚恳意坚，加之十分聪慧，于是向他详细解说、传授道家虚无思想和玄学理论。
潘茂名与张玄宾交往多时，已深得道教精义，于是便辞别张玄宾欲返故里。玄宾对潘茂名说：“你的家乡水患无妨，但旱灾时有，我司职雨水，可帮助你。我知道高凉一带有一山泉名龙湫，若遇大旱可于洞中祈祷，马上应验。”
朝廷“赐改高兴地曰茂名”
潘茂名回到家乡后，喜爱东山（史载为高郡主山，即今高州城东一带的群山）峰峦起伏，葱郁青翠，于是在此隐居修炼。后屡次大旱，潘茂名便带乡民往龙湫岩祈雨，果然灵验，每次都能很快就普降甘露，解除旱灾。乡民感念潘茂名恩德，把东山称为“潘山”。有官员把潘茂名事迹上奏朝廷，朝廷屡次征召潘茂名为官，他都不答应，表示愿一生在民间尽能力救治百姓疾苦。因此朝廷“赐改高兴地曰茂名，以彰功德”。
从此潘茂名便在当地习静，“朝汲泉于此山、暮洗术于鉴水，采丹田之芝，煮白石之髓，嚼瑶笋之芽、餐碧柰之蕊，勤洗伐而脱尘凡，取精华而去渣滓”终于在这里炼成大还丹和小还丹“，用此神效的丹药，为粤西一带特别是高雷地方救治百姓，扑灭了瘟疫。相传潘茂名在高城西的观山修行20多年，白天上山采药，晚上治《易》明《诗》，修道炼丹。”东坡（城东镇头岭）烧火，西山观烟“的传说和”观山“之得名是由此而来的。
纪念潘茂名
邑单人潘江在《潘仙赋》云：“出入二语，顿悟元机、道德千言、翻为剩义、此殆凤缘，于是攀薜萝辟荆杞，丹灶烟飞、石船风起……。”这就是潘茂名研究出处方用丹灶炼丹，用石船研药救治百姓的故事，至今仍传为佳话。
明代人们喜爱道教，高州建于明代遗迹特别多，计有升真观（已圮）、玉泉庵、潘仙祠、石船丹业（已圮）、玉泉井、思乾井、清虚观（与改作室莲庵、三元宫（已拆）、域隍庙（已拆）东岳庙（已拆）、火神庙（已拆）、文昌阁（已拆）、文昌楼（在云炉）等。
除了高州城有多处地方供奉崇祀潘仙外，《茂名县志》还载：曹江甲子坡梁姓居民曾建潘仙庙纪念潘茂名，每年三月二十四日潘仙涎则隆重祭祀。高州城厢（城郊农村）也曾创立潘仙会、以重阳赴观山虔祀，饮酒登高，有辟茱萸之意。相传：“潘仙为一县之主，每年盂兰胜会，县役迎仙主其事，乃相沿日久”。