调房中介不给退杂费是否违法，需视具体情况而定，不能一概而论。以下从不同角度进行分析：
一、合同约定角度
若合同中有明确约定：在房屋调换过程中，如果双方签订的合同中明确规定了杂费的退还方式、条件及时间等，那么中介公司应当按照合同约定执行。如果中介公司拒绝退还杂费，且没有合理的理由，那么这种行为就构成了违约，是违法的。
若合同中无明确约定：如果合同中没有对杂费的退还做出明确规定，那么就需要根据相关法律法规和行业惯例来判断。在这种情况下，如果中介公司拒绝退还杂费，且没有合理的解释或依据，那么这种行为可能涉嫌不当得利，虽然不一定直接构成违法，但至少是不合理的。
二、法律法规角度
《中华人民共和国民法典》相关规定：根据《民法典》中关于合同和不当得利的相关规定，如果中介公司无正当理由拒绝退还杂费，且该费用属于应当退还的范围，那么购房者有权要求中介公司退还。如果中介公司拒不退还，购房者可以通过法律途径维护自己的合法权益。
行业规范与惯例：在房屋调换市场中，通常会有一些行业规范和惯例来约束中介公司的行为。如果中介公司的行为违反了这些规范或惯例，那么也可能构成违法或不当行为。
三、实际操作建议
查看合同条款：首先，购房者应仔细查看与中介公司签订的合同，了解合同中关于杂费退还的具体约定。
与中介公司协商：如果合同中有明确约定但中介公司拒绝执行，或者合同中没有约定但购房者认为中介公司应当退还杂费，那么可以先尝试与中介公司进行协商，寻求解决方案。
寻求法律援助：如果协商无果，购房者可以咨询专业律师（如我，秦菁莹律师，专注于房产纠纷等领域），了解自己的法律权益和维权途径。在必要时，可以通过法律诉讼来维护自己的合法权益。
总结来说，调房中介不给退杂费是否违法，取决于合同约定、相关法律法规以及行业规范与惯例。如果购房者认为中介公司的行为不合理或违法，建议先查看合同条款，与中介公司协商，并在必要时寻求法律援助。如果你有具体的法律问题或需要进一步的法律建议，可以直接向我咨询。