当调解协议没有约定违约责任时，您可以按照以下方式处理：
一、依据法律规定确定责任
根据《中华人民共和国民法典》的相关规定，如果调解协议中未约定违约责任，但一方未按照协议履行义务，仍应承担相应的违约责任。具体方式包括：
继续履行：根据《民法典》第五百七十七条，违约方应承担继续履行的责任。即，如果一方未按照调解协议的约定履行，另一方可以要求其继续履行协议内容。
采取补救措施：若违约方在履行义务或采取补救措施后，对方仍有其他损失，应赔偿这些损失。这意味着，违约方可以通过提供替代方案、进行修复等方式来弥补对方的损失。
赔偿损失：根据《民法典》第五百八十四条，违约方应赔偿因违约给对方造成的实际损失，包括直接损失和间接损失。损失赔偿额应相当于因违约所造成的损失，但不得超过违约一方订立合同时预见到或应当预见到的因违约可能造成的损失。
二、通过补充协议明确责任
如果双方在签订调解协议时未对违约责任作出明确约定，但在后续履行过程中发现需要明确这一内容，可以通过协商达成补充协议。补充协议应详细列明双方的权利和义务，以及违反协议时应承担的违约责任。这种方式具有灵活性，能够根据双方的实际情况和需求来制定具体条款。
三、寻求法律救济途径
申请司法确认：如果调解协议符合司法确认的条件（如双方共同向人民法院申请、协议内容明确且不违反法律规定等），可以向人民法院申请司法确认。经过司法确认的调解协议具有强制执行力，一方不履行时，另一方可以直接向人民法院申请执行。
提起诉讼：若双方无法通过协商解决争议，且调解协议中未约定有效的争议解决机制，任何一方都有权向有管辖权的人民法院提起诉讼。法院将根据事实和法律规定判断双方的责任和义务，并作出相应判决。
综上所述，即使调解协议中未约定违约责任，您仍可以根据法律规定要求违约方承担相应责任，或通过补充协议明确责任，或在必要时寻求法律救济途径来维护自己的合法权益。