结论：是否违法需根据具体情况判断，若他人修路行为合法且未侵犯你的合法权益，则你不让修可能构成不当阻挠；若修路行为违法或侵犯你的权益，则你有权阻止。以下从不同角度进行分析：
一、修路行为的合法性分析
土地使用权：
- 自留山属于农民集体所有，但农户享有使用权。若修路者拥有该自留山的使用权或已获得合法授权（如土地流转、租赁等），且修路行为符合土地管理法规，则其修路行为合法。
- 若修路者未取得合法使用权或授权，擅自在他人的自留山上修路，则构成侵权，你有权阻止。
规划与审批：
- 修路行为若涉及改变土地用途或需要占用林地等，通常需经过相关部门的规划审批。若修路者未取得必要的审批手续，则其修路行为可能违法。
- 在此情况下，你阻止修路的行为可能是在维护公共利益或自身权益，不构成违法。
二、你的阻止行为的合法性分析
合法权益受侵犯时：
- 若修路行为侵犯了你的合法权益（如相邻权、土地使用权等），你有权通过合法途径阻止修路，如向相关部门投诉、提起民事诉讼等。
- 在此情况下，你的阻止行为是合法的，但应通过合法手段进行，避免采取过激行为。
无正当理由阻止时：
- 若修路行为合法且未侵犯你的合法权益，而你无正当理由阻止修路，则可能构成不当阻挠。
- 在此情况下，修路者有权要求你停止阻挠，并可能通过法律途径追究你的责任。
三、法律建议
核实修路行为的合法性：
- 在阻止修路前，应先核实修路者是否拥有合法使用权或授权，以及是否取得必要的审批手续。
- 若修路行为合法，你应尊重他人的合法权益，避免不当阻挠。
通过合法途径维护权益：
- 若修路行为侵犯了你的合法权益，你应通过合法途径维护权益，如向相关部门投诉、提起民事诉讼等。
- 在此过程中，你应保留相关证据，以便在需要时提供证明。
避免采取过激行为：
- 无论修路行为是否合法，你都应避免采取过激行为阻止修路，以免引发不必要的法律纠纷。
- 若遇到无法解决的问题，你可以直接向我咨询，我会根据你的具体情况提供专业的法律建议。