土山镇因坐落在土山村为名。土山村村北有山，因高不过百余公尺仅得了一“土”字为名。相传八仙之首吕洞宾赶马车西行，人困马乏之际，见一水草丰美之地，遂停车休憩。马儿低头饮水觅食嫩草，吕洞宾坐在水滨顺手脱下马靴，将靴中沙土倒在身后。不料想沙土落地，遇风生长，吕洞宾忙拿起赶车的马鞭随手挥去，将正在疯长的山头削去，土山随之停止生长，削去的山头落在东面约四华里处，也停止了生长。
吕洞宾之后，此处成为绝佳风水宝地，引得龙凤在此安住。龙卧山脚水潭，名“龙潭湾”；凤栖山顶梧桐，名“凤凰岭”。此地老人传言，当然是从很久很久以前传下来的说辞。南人踩地穴北来，见此处风水绝佳，是出三皇五帝人才的地方，便怀了恶意，动了如簧巧舌，告知本地百姓，如按他建议行事，便会保此地平安万万年。百姓不疑其意，在山顶修一庙宇。不料想庙宇压住风水眼，凤凰不再来仪，祥龙不能遨游，风水破。
山虽不高，但处平原，也是一处高地所在。少时多次攀爬过土山，站在山顶，便感觉此为天下第一高度，可以看见北面莱州湾的白帆点点，浪花朵朵。更可以看见周围村子里的人家，甚至于可以看见人家院子里。山顶上曾有坐标，随着无休止的开挖，当土山只剩了一个象征意义的石头堆时，其所代表的最重要意义的任务也随之终止。
土山的来历还有一说与宋太祖赵匡胤有关。赵匡胤兵败过此处，后有追兵，过一水域，私下寻思该安全了，追兵却神勇，也想涉水穷追。赵匡胤心急大喝，天不容我！话音未落，水边起一高山挡住追兵。莱州境内与赵匡胤相关的传说颇多。土山境内就有两处，还有一处在西面的沙岭黑松林内，以后详说。
龙潭湾已难见盛景。老人们说，上个世纪五六十年代，龙潭湾还水沛花盛，夏天时候有荷花盛开，鱼翔浅底。
山顶上还能看到标志点的底座。
