鲁山在春秋时期称鲁阳,西汉置鲁阳县,因鲁阳故城地处鲁山之阳,得名。

北魏太和十一年(487年)，孝文帝南巡，改名山北县。隋炀帝大业元年(605年)，改山北县为鲁县。