结论：办事给了四万退了三万五是否违法，需结合具体情况判断，可能涉及民事违约或行政违法，甚至刑事犯罪，具体分析如下：
一、民事角度分析
合同关系与违约：
- 若双方存在明确的合同关系，比如委托合同或服务合同，且合同中明确约定了办事的费用、退款条件等条款，那么一方未按照合同约定履行退款义务，即退了三万五而未退剩余五千，就可能构成违约。
- 根据《中华人民共和国民法典》的相关规定，违约方需承担违约责任，包括继续履行、采取补救措施或赔偿损失等。在此情况下，未退款方可能需向对方支付剩余款项及可能的违约金或利息。
不当得利：
- 若双方未签订书面合同，但一方实际支付了四万费用，而另一方仅退了三万五，且无法合理解释剩余五千的用途或去向，那么未退款方可能构成不当得利。
- 根据《中华人民共和国民法典》中关于不当得利的规定，受损失方有权请求得利人返还取得的利益。
二、行政角度分析
- 行政处罚风险：
- 如果办事过程中涉及行政许可、行政审批等事项，且未按照相关规定办理或存在违规行为，那么即使退了部分款项，也可能面临行政处罚的风险。
- 行政处罚的种类和幅度取决于具体违规行为的性质和情节，可能包括罚款、没收违法所得、责令停业整顿等。
三、刑事角度分析
诈骗罪风险：
- 如果办事方以非法占有为目的，通过虚构事实或隐瞒真相的方式骗取对方财物，且数额较大（一般指三千元至一万元以上），那么可能构成诈骗罪。
- 在此情况下，即使退了部分款项，也不影响诈骗罪的成立。诈骗罪的刑罚根据数额大小和情节严重程度而定，可能包括有期徒刑、拘役、管制或罚金等。
其他犯罪风险：
- 除了诈骗罪外，如果办事过程中涉及其他犯罪行为，如贪污、受贿、挪用公款等，也可能面临相应的刑事处罚。
四、建议与措施
收集证据：
- 无论从哪个角度分析，收集证据都是关键。建议保留所有与办事相关的合同、收据、转账记录、聊天记录等证据材料。
协商解决：
- 在证据充分的情况下，可以尝试与对方协商解决纠纷。通过友好沟通，明确双方的权利和义务，争取达成和解协议。
法律途径：
- 如果协商无果或对方拒绝履行义务，可以考虑通过法律途径解决纠纷。可以向法院提起民事诉讼要求对方承担违约责任或返还不当得利；如果涉及行政处罚或刑事犯罪，可以向相关行政部门或公安机关报案。
如有具体案情或需要进一步的法律帮助，请直接向我咨询。我会根据你的具体情况提供更详细的法律建议和解决方案。