结论：协议没有写违约责任，对方违约时，一般不可以直接要求协议无效。协议的效力与违约责任条款是两个不同的法律概念，违约责任条款的缺失并不影响协议的整体效力。
分析说明：
协议效力的认定：
- 协议的效力主要取决于其是否满足法律规定的生效要件，如双方是否具有相应的民事行为能力、意思表示是否真实、内容是否合法且不违背公序良俗等。
- 违约责任条款的缺失，并不构成协议无效的理由。只要协议本身满足生效要件，即使没有违约责任条款，协议仍然是有效的。
违约责任的处理：
- 当对方违约时，虽然不能直接要求协议无效，但可以根据协议中的其他条款（如履行条款、争议解决条款等）以及相关法律规定，要求对方承担违约责任。
- 如果协议中没有明确约定违约责任，可以依据《中华人民共和国民法典》中关于违约责任的一般规定，要求违约方赔偿因此造成的损失。
特殊情况下的协议无效：
- 在某些特殊情况下，如协议存在欺诈、胁迫、恶意串通等情形，或者协议内容违反法律、行政法规的强制性规定，那么协议可能是无效的。
- 但这些情况与违约责任条款的缺失无关，而是基于协议本身的违法性或欺诈性等因素。
法律建议：
- 在签订协议时，建议明确约定违约责任条款，以便在对方违约时能够有明确的法律依据来维护自己的权益。
- 如果协议中没有约定违约责任条款，且对方违约，可以收集相关证据，如协议文本、交易记录、沟通记录等，以证明对方的违约行为和自己的损失情况。
- 如有需要，可以寻求专业律师的帮助，通过法律途径来追究对方的违约责任，并要求赔偿损失。
后续行动：
- 如果您遇到了对方违约的情况，且协议中没有约定违约责任条款，建议您先与对方进行协商，尝试达成和解或补充协议。
- 如果协商无果，您可以考虑通过法律途径来解决争议，包括但不限于提起诉讼或申请仲裁。在此过程中，如有任何疑问或需要进一步的法律帮助，请随时向我咨询。