结论：违规上了公益性岗位3年并领取了10万元，退回款项本身通常不会直接导致坐牢，但若涉及诈骗等犯罪行为，则可能面临刑事责任。
分析说明：
违规上岗与退款：
- 违规上岗公益性岗位，本身是一种违反规定或政策的行为。如果因此领取了不应得的款项，通常需要退回这些款项。
- 退回款项是民事责任的一种体现，即恢复原状或赔偿损失。在大多数情况下，单纯的违规上岗并退款，并不构成犯罪，因此不会直接导致坐牢。
涉及诈骗等犯罪行为：
- 如果在违规上岗的过程中，存在虚构事实、隐瞒真相等诈骗行为，以非法占有为目的骗取公益性岗位的款项，那么这种行为就可能构成诈骗罪。
- 根据《中华人民共和国刑法》的相关规定，诈骗公私财物，数额较大的，会面临刑事处罚，包括有期徒刑、拘役或罚金等。
- 在您的情况下，如果10万元款项是通过诈骗手段获得的，那么除了退回款项外，还可能面临刑事责任的追究。
特殊场景：
- 如果违规上岗的行为被相关部门发现，并进行了调查处理，但并未涉及诈骗等犯罪行为，那么通常只会要求退回款项，并可能给予一定的行政处罚，如警告、罚款等，而不会坐牢。
- 如果违规上岗的行为涉及多个部门或多个环节，且存在复杂的利益关系或腐败行为，那么可能需要更深入的调查和处理，但这也并不意味着一定会坐牢，具体还需根据调查结果和法律规定来判断。
后续行动建议：
- 主动退回款项：如果确实存在违规上岗并领取了不应得的款项，建议主动退回，以减轻可能的法律后果。
- 配合调查：如果相关部门已经介入调查，应积极配合调查工作，如实说明情况，提供相关证据。
- 咨询专业律师：如果对此事有进一步的疑问或担忧，建议咨询专业律师，以了解具体的法律后果和应对策略。
法律背景：
- 《中华人民共和国刑法》关于诈骗罪的规定，是判断此类行为是否构成犯罪的主要法律依据。
- 公益性岗位的相关规定和政策，也是判断违规上岗行为性质的重要依据。
如有其他疑问或需要进一步的法律帮助，请直接向我咨询。