结论：是否违法需根据具体情况判断，主要看林地交换是否合法、建房是否经过审批以及对方主张权利的依据是否充分。以下从不同角度为你详细分析：

一、林地交换的合法性

1. 合法交换：如果村里面跟别人换林地是经过双方自愿协商，并且符合《农村土地承包法》等相关法律法规的规定，比如经过了发包方（通常是村委会）的同意，并且办理了相关的变更登记手续（如果有要求的话），那么这种林地交换是合法的。在这种情况下，你在交换所得的林地上建房，如果建房行为本身也符合相关规定，那么对方无权随意向你要钱。
2. 非法交换：如果林地交换没有经过合法的程序，比如没有经过发包方同意，或者存在欺诈、胁迫等情形，那么这种交换可能是无效的。在这种情况下，你在该林地上建房就可能面临法律风险，对方如果基于合法的权益主张，比如恢复林地原状、赔偿损失等，是有可能要求你承担相应责任的，但这并不意味着对方可以随意要钱，具体还要看其主张的合理性和合法性。

二、建房的审批情况

1. 经过审批：在农村建房，通常需要经过相关部门的审批，比如乡镇政府的规划、国土等部门的批准。如果你在交换所得的林地上建房已经经过了合法的审批，取得了相应的建房许可，那么你的建房行为就是合法的。在这种情况下，对方无权以建房为由向你要钱。
2. 未经审批：如果你没有经过合法的审批程序就在林地上建房，那么你的建房行为就是违法的。对于违法的建房行为，相关部门有权责令你停止建设、限期拆除等。在这种情况下，对方如果基于林地的合法权益受到侵害等理由，是有可能要求你承担相应责任的，比如赔偿林地损失等，但这同样不意味着对方可以随意要钱，具体责任和赔偿金额需要根据实际情况和法律规定来确定。

三、对方主张权利的依据

1. 有合法依据：如果对方能够提供充分的证据证明其对林地享有合法的权益，并且你的建房行为确实侵害了其合法权益，比如你建房占用了其合法的林地部分，或者你的建房行为导致了其林地的损失等，那么对方有权要求你承担相应的赔偿责任。但赔偿金额需要根据实际损失情况、双方的过错程度等因素来确定，不能由对方随意主张。
2. 无合法依据：如果对方无法提供充分的证据证明其对林地享有合法的权益，或者其主张的权利与你的建房行为没有直接的因果关系，那么对方无权向你要钱。在这种情况下，你可以拒绝对方的无理要求，并如果对方继续纠缠，可以考虑通过法律途径维护自己的合法权益。

建议：你可以先与对方进行沟通，了解对方主张要钱的具体原因和依据。如果对方无法提供合理的解释和证据，你可以拒绝其要求。如果对方坚持主张权利，并且你认为其主张可能侵害了你的合法权益，你可以咨询我，我会根据你的具体情况为你提供更详细的法律建议和帮助。