结论：从别人手中购买工程后，若发现该行为违法并希望退回钱款，能否成功取决于多种因素，包括违法行为的性质、合同条款、双方协商情况以及法律程序等。以下从不同角度为您详细分析：
一、违法行为的性质与合同效力
若购买工程的行为本身违反法律强制性规定：
- 根据《中华人民共和国民法典》的相关规定，违反法律、行政法规的强制性规定的民事法律行为无效。因此，如果购买工程的行为被认定为违法，那么您与对方签订的合同可能自始无效。
- 在合同无效的情况下，根据《民法典》第一百五十七条，您有权要求对方返还因该合同取得的财产，即您支付的钱款。同时，如果对方也有过错，您可能还需要根据过错程度承担相应的责任。
若购买工程的行为仅违反管理性规定而非强制性规定：
- 这种情况下，合同可能不会被直接认定为无效，但可能面临其他法律后果，如行政处罚等。
- 您能否退回钱款将取决于合同的具体条款、双方协商情况以及法院或仲裁机构的裁决。如果合同中有关于违法情况下退款的相关条款，您可以依据这些条款要求退款。
二、合同条款与双方协商
合同条款：
- 仔细审查您与对方签订的合同，特别是关于退款、违约责任等条款。如果合同中有明确规定在违法情况下可以退款，那么您可以直接依据合同要求对方退款。
- 如果合同中没有相关规定，您可能需要通过协商或法律途径来解决退款问题。
双方协商：
- 在发现购买工程的行为违法后，首先尝试与对方进行友好协商，看是否能够达成退款协议。
- 协商时，可以明确指出违法行为的性质、合同无效的可能性以及您因此遭受的损失，要求对方给予合理的补偿或退款。
三、法律程序与救济途径
诉讼：
- 如果协商无果，您可以考虑向法院提起诉讼，要求确认合同无效并返还钱款。
- 在诉讼过程中，您需要提供充分的证据证明购买工程的行为违法以及您因此遭受的损失。
仲裁：
- 如果合同中有仲裁条款或者双方事后达成仲裁协议，您也可以选择通过仲裁来解决退款问题。
- 仲裁通常更加灵活、高效，但同样需要您提供充分的证据来支持您的主张。
四、可能面临的法律后果与风险
如果合同被认定无效：
- 您除了有权要求对方返还钱款外，还可能需要根据过错程度承担相应的责任，如赔偿对方因此遭受的损失等。
如果合同未被认定无效但存在违法行为：
- 您可能面临行政处罚等法律后果，同时退款问题也可能需要通过法律程序来解决。
建议：在处理此类问题时，我建议您首先仔细审查合同条款，了解双方的权利和义务；其次尝试与对方进行友好协商，看是否能够达成退款协议；如果协商无果，再考虑通过法律途径来解决退款问题。在整个过程中，务必保留好相关证据，以便在需要时提供证明。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。