南海神庙是我国古代海神庙中惟一遗存下来的最完整、规模最大建筑群。该庙始建于隋文帝开皇十四年（594年），距今已有1400多年的历史。以后历代有重修扩建。现存的是清代建筑，但仍保留隋唐时代的规模和建制。1988年起，政府也曾对南海神庙作过三次较大的修复，现已基本恢复了庙宇的古貌。
修复前大殿仅存殿堂，如今庙宇规模宏大，占地面积达3万平方米。其主体建筑是一座五进的殿堂，由南至北依次为头门、仪门及复廊、礼亭、大殿和昭灵宫。南海神庙门前有石牌坊，额题“海不扬波”。庙中保存有历代的许多石刻。还有华表、石狮、韩愈碑亭、开宝碑亭、洪武碑亭、康熙万里彼澄碑亭等附属建筑，构成一组颇具规模的古建筑群。庙中还保存汉代和明代的铜鼓和制钟，以及南海神玉印等重要的文物。还有木棉树、相思树等古树名木。这里存放的汉代铜鼓是中国现存三大铜鼓之一。庙西一小山岗上有“浴日亭”，宋元时羊城八景之一的“扶胥浴日”即指此处。
从唐朝开始，南海神庙便香火日盛，各朝代政府也派人前往管理庙事。事实上它已成为四海神庙中香客最多、地位最高的一个，这主要是由广州海上贸易日益发达的地位决定的。
中国古代海上丝绸之路从西汉时就已经开始形成，到了隋唐时期达到了鼎盛阶段。尤其是唐代，从广州出发的贸易船队，经过南亚各国，越印度洋，抵达西亚及波斯湾，最西可到达非洲的东海岸。明清之后更远至欧美了。这条航线长达1万多公里，沟通了东、西方政治、经济和文化的交流，扩大了中国在世界上的影响力。
处于这条航线重要位置上的南海神庙，在古代有码头，码头外面又是茫茫的大海——南海，南海实际是太平洋靠近东南亚大陆部分，大海又紧连着太平洋，通往印度洋。出海航船或来自远方的航船，都须经过坐落在南海神庙的这个古码头。于是众多的商船顺路经过这里均停下来上庙祭祀，以祈求航路平安、生意顺利。于是，神庙附近的扶胥镇便商旅云集，民间庙会交易频繁。南海神庙之兴旺，成为广州海上贸易繁荣的历史见证，遗留下许许多多珍贵历史文物，包括皇帝御赐的碑文、题字等，是一点也不奇怪的。当然百姓们更多的还是感恩于庇佑他们一帆风顺、平安大吉的南海神的。
南海神庙坐北向南，占地3万平方米，是明代建筑风格，恢宏壮观且古朴大方。
庙外有“海不扬波”的石牌坊。庙宇的主体建筑沿着中轴线从南到北依次为头门、仪门、礼亭、大殿、昭灵宫共五进，一进高于一进。其他附属建筑均以五进为中心，左右对称。这是较典型的中国传统庙宇建筑。