结论：仅凭对方说出“你干不了”，而我方并未回答这一情况，不能直接判定对方构成违约。违约的判定需要结合合同的具体条款、双方的实际行为以及相关法律规定来综合分析。以下从不同角度为你详细分析：
从合同条款角度分析
- 合同有明确约定
- 如果合同中明确约定了双方的权利义务，包括工作成果的交付标准、工作进度安排等，并且对方说出“你干不了”这一表述，是基于其无正当理由拒绝履行合同义务，比如拒绝提供必要的工作条件、拒绝接受符合合同要求的工作成果等，那么对方的行为可能构成违约。例如，双方签订了一份软件开发合同，合同约定甲方提供需求文档，乙方按照需求进行开发并在一定期限内交付软件。在开发过程中，甲方突然说“你干不了”，拒绝提供后续的需求变更说明，导致乙方无法继续开发，此时甲方的行为就违反了合同约定，构成违约。
- 若合同中对于对方说出此类话语后的情况有特别约定，比如约定一方说出“对方干不了”等类似表述即视为违约，那么在这种情况下，对方就构成了违约。不过，这种特别约定需要在合同中明确且合法有效。
- 合同无明确约定
- 当合同中没有对这种情况进行明确约定时，不能仅仅因为对方说了“你干不了”就认定其违约。因为这句话可能有多种理解，也许对方只是表达一种担忧或者提出疑问，并没有实际拒绝履行合同的意思。例如，在一份装修合同中，业主看到装修公司使用的部分材料后说“你干不了”，可能只是担心这些材料无法达到预期的装修效果，而不是要解除合同或者拒绝支付款项。
从实际行为角度分析
- 对方有实际行动阻碍合同履行
- 除了口头表述外，如果对方还有实际的行动来阻碍合同的履行，比如停止支付合同款项、撤回已经投入的人力物力、阻止我方进入工作现场等，那么可以结合这些行为认定对方构成违约。例如，在一份货物买卖合同中，买方说“你干不了”后，拒绝接收货物并且不支付货款，导致卖方无法实现合同目的，此时买方的行为就构成了违约。
- 对方无实际行动且愿意继续履行
- 如果对方只是口头说了“你干不了”，但没有采取任何实际行动来阻碍合同的履行，并且表示愿意继续按照合同约定履行义务，那么一般不能认定其违约。例如，在一份服务合同中，客户说“你干不了”后，经过沟通解释，客户表示理解并愿意继续接受服务，那么就不存在违约的情况。
从法律规定角度分析
根据《中华人民共和国民法典》相关规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。判断对方是否违约，关键在于其是否不履行合同义务或者履行合同义务不符合约定。仅仅一句“你干不了”的口头表述，如果没有相应的行为支撑，很难直接认定为不履行合同义务或者履行不符合约定。
建议：
- 你可以先与对方进行沟通，明确对方说出这句话的真实意图，看是否能够通过协商解决争议，继续履行合同。
- 如果沟通无果，你可以收集相关证据，如合同文本、双方的沟通记录（包括聊天记录、邮件等）、对方可能存在的阻碍合同履行的行为证据等，以便在必要时通过法律途径维护自己的合法权益。
如果你在合同纠纷方面还有其他疑问，可以直接向我咨询。