在唐朝以前，含山并不叫“含山县”，而叫“龙亢县”。传说古时，皇帝把昭关以北的仙踪、姚庙划给龙亢县，把陶厂南边划给了历阳县。朝廷往龙亢县新派了一位姓牛的来当县令。
牛县令走马上任后，发现两地的农民，经常吵嘴闹事，他怀疑与“龙亢”名字有关。所以，他时时想换个县名。
转眼过了几个月。一天，牛县令带着几个随从，出城游春赏景。他们过了昭关，一路往西，见前面有一座大山，象个牛头。牛县令问，那叫什么山？有人答：“叫牛头山”。
上了山顶，牛县令四面看看之后，指着两边一个长长的山垅问：“这是什么山？”旁边有人答道：“那是横龙山。”传说当年曹操要攻打东吴，在焦湖训练水师时，考虑到要打到东吴重镇健业（兼南京），必定经过东、西梁山这道天门豁口。为避开东、西梁山，曹操想挖一条河直至金河口入江，顺水而下直取南京。曹操沿途察看地形，到了横龙山前，见这山横拦中间有十几里路长，挡着河路。要挖开此山，非成千上万人干上几个月，花费上万两银子不行。曹操默思，此事难办，就仰天兴叹说：“唉，我看此山不亚似横龙挡道也！”自此，横龙二字便成了此山的名字。
牛县令听得入神，不住地点头。他转过身，指着牛头山和横龙山之间的一座小山问道：“前面那座小山叫什么名字？”随从都说不知道。这时，站在一旁的放羊老汉见状，就插嘴说：“那小山叫含珠山。”牛县令听了，忙问：“你可知道它为什么叫含珠山呢？”那个放羊老汉指着横龙山说：“那山是条龙。”他又指了指脚下的山道：“这山是条牛。那座小山像一颗宝珠，被牛和龙两头含住，既吃不掉，又吐不出，所以我们当地人就都叫它是含珠山了。”牛县令听了又想想，渐渐两眼放光，一指四围的山说：“我们龙亢县不是也在这群峰环围之中吗？四围皆峰峦重叠，城似被山含吞，何不把这县名"龙亢"二字改为"含山"？”手下人听了，都说这样改好。
回到县衙，牛县令马上修表上奏，请求把县名“龙亢”改为“含山”。过了不久，朝廷就批准了他的请求。从此，“含山”这个名字，带着这个故事，一直沿用至今。