针对你提出的“违法建设罚款罚行为人不罚买受人行不行”的问题，首先我们需要明确的是，违法建设的罚款对象主要依据的是违法行为的责任主体，即谁实施了违法行为，谁就应该承担相应的法律责任。接下来，我将从几个方面对此进行详细阐述：
法律责任原则：
- 在法律上，责任与行为是紧密相连的。谁实施了违法行为，谁就应该受到相应的法律制裁。因此，如果买受人并未参与违法建设行为，只是单纯购买了违法建筑，那么从法律责任原则出发，买受人通常不应被直接罚款。
罚款对象的确定：
- 罚款作为一种行政处罚，其对象应当是实施了违法行为的主体。在违法建设的情况下，这个主体通常是进行违法建设的行为人，而不是仅仅购买了违法建筑的买受人。
买受人可能面临的其他法律后果：
- 虽然买受人可能不直接承担违法建设的罚款，但如果他们明知或应知所购买的建筑是违法的，仍然进行购买，那么他们可能会面临其他法律后果，比如合同无效、无法取得合法产权等。
特殊情况的考虑：
- 当然，也存在一些特殊情况。比如，如果买受人与行为人存在共谋或明知故犯的情况，那么买受人也可能需要承担一定的法律责任。但这需要根据具体案件的事实和证据来判断。
综上所述，在一般情况下，违法建设的罚款应当针对行为人，而不是买受人。买受人除非存在特殊情况，否则通常不应被直接罚款。如果你对此有更具体的情况或疑问，欢迎随时向我咨询，我会根据你的具体情况给出更详细的解答。