有一个读书人叫淳于棼，是唐朝人，他家院墙边长了一棵古槐。他嗜酒任性，不拘小节。
有一次，因为他喝醉酒，忍不住在庭院的槐树下休息起来，没想到他因此就睡着了。
在梦里，他看到槐安国的国王派人接他到槐安国去，随后把自己心爱的公主嫁给了他，并且派他担任南柯郡的太守。
在这段时间里，淳于棼把南柯治理得很好，国王也很欣赏他。他五个儿子都有爵位，两个女儿也嫁给王侯，所以，他在槐安国的地位非常高。
后来，檀萝国攻打南柯郡，淳于棼的军队输了，接着他的妻子也因重病死了。
这一切的不幸，让淳于棼不想在南柯郡继续住下去，就回到京城。可是，在京城里，有人在国王面前说淳于棼的坏话，国王没有查证，就把他的孩子抓起来，还把他送回原来的家乡。
一离开槐安国，淳于棼就醒了，才知道原来这是一场梦。
不久，淳于棼发现庭院里的槐树下有一个蚂蚁洞，洞里有泥土推成的宫殿汉城池等等，他才恍然大悟，梦中所见到的槐安国，应该就是这个蚂蚁洞。而槐树的最高的树枝，可能就是他当太守的南柯郡。梦中“南柯郡”、“槐安国”，其实原来如此!
淳于棼想起梦里南柯的一切，觉得人世非常无常，所谓的富贵功名实在很容易就消失，于是，他最后就归隐道门了。