结论前置：对方提出只支付3万工程款，而实际工程款为20万，这一做法是否合理，需要结合具体情况来判断，一般情况下不合理，但如果存在特殊情形，如工程质量严重不达标、存在违约行为等，则可能合理。以下从不同角度进行分析：
一、合同约定角度
合同明确约定工程款：如果双方签订的合同中明确约定了工程款为20万，且没有附加任何条件或变更条款，那么对方提出只支付3万显然是不合理的。根据《民法典》的相关规定，当事人应当按照约定全面履行自己的义务，对方的行为构成违约，你有权要求对方按照合同约定支付剩余的工程款。
合同存在变更或补充条款：如果合同中存在变更或补充条款，且这些条款明确规定了在某些特定情况下工程款可以减少，那么需要仔细审查这些条款是否适用当前情况。如果适用，且变更或补充条款是双方真实意思的表示，那么对方提出减少工程款可能是合理的。但即便如此，减少的幅度和原因也需要符合合同约定和法律规定。
二、工程质量角度
工程质量达标：如果工程质量完全符合合同约定和行业标准，那么对方提出减少工程款显然是不合理的。你有权要求对方按照合同约定支付全额工程款。
工程质量不达标：如果工程质量存在严重问题，且这些问题是由于你的施工不当或疏忽造成的，那么对方可能根据合同约定或法律规定要求减少工程款。但减少的幅度需要合理，且需要与你承担的责任相对应。如果对方提出的减少幅度过大，或者没有充分的证据支持其主张，那么你可以拒绝其要求，并要求对方按照合同约定支付工程款。
三、违约行为角度
你存在违约行为：如果你在施工过程中存在违约行为，如未按照合同约定的时间完成工程、使用了不符合合同约定的材料等，那么对方可能根据合同约定或法律规定要求减少工程款或要求你承担违约责任。但同样，减少的幅度和违约责任需要合理，且需要与你实际违约的情况相对应。
对方存在违约行为：如果对方在合同履行过程中存在违约行为，如未按照合同约定支付工程款、未提供必要的施工条件等，那么你有权要求对方承担违约责任，并按照合同约定支付全额工程款。在这种情况下，对方提出减少工程款显然是不合理的。
四、建议与行动
审查合同：首先，你需要仔细审查双方签订的合同，了解合同中关于工程款、工程质量、违约责任等方面的约定。
收集证据：收集与工程款支付、工程质量、违约行为等相关的证据，如施工记录、验收报告、付款凭证等。这些证据将有助于你证明自己的主张。
协商与调解：在收集到足够证据后，你可以尝试与对方进行协商或调解，寻求双方都能接受的解决方案。如果协商或调解无果，你可以考虑通过法律途径解决纠纷。
法律途径：如果对方坚持不合理的要求，且协商或调解无果，你可以向法院提起诉讼或申请仲裁，要求对方按照合同约定支付全额工程款，并承担相应的违约责任。
最后，工程款纠纷的处理需要综合考虑合同约定、工程质量、违约行为等多个因素。如果你对具体情况存在疑问或需要进一步的法律帮助，可以直接向我咨询，我会根据你的具体情况提供详细的法律建议。