收养协议解除时，一般不能要求违约金，但特定情形下可能涉及损害赔偿，需分情况讨论：

1. 收养协议的性质决定了违约金条款通常无效
   根据《民法典》第1044条，收养关系属于身份关系，其成立、解除需遵循法定程序（如登记、公证等），且以保护被收养人利益为核心。身份关系具有人身专属性，不同于普通的财产性合同（如买卖、租赁），因此收养协议中约定的“违约金”条款因违反法律强制性规定（如公序良俗原则）而无效。即使双方在协议中明确约定了违约金，法院通常也不会支持。

2. 解除收养协议可能涉及损害赔偿，但需满足法定条件
   若解除收养关系是由于一方存在过错（如虐待、遗弃被收养人，或恶意隐瞒影响收养关系的重大事实），无过错方可以依据《民法典》第1165条主张侵权损害赔偿。但需注意：

   • 赔偿范围：仅限于实际损失（如医疗费、教育费等直接支出），不包括“违约金”形式的惩罚性赔偿；
     
   • 举证责任：需证明对方存在过错及损失与过错之间的因果关系；
     
   • 例外情形：若双方在收养协议中明确约定了“损害赔偿计算方式”（如固定金额补偿），且该约定不违反法律强制性规定，可能被法院酌情支持，但与“违约金”性质不同。

3. 实务建议

   • 协议签订阶段：避免在收养协议中约定“违约金”条款，可改为约定“若因一方过错导致解除，需补偿对方实际损失”；
     
   • 解除阶段：若对方存在过错，及时收集证据（如报警记录、医疗证明、证人证言等），并通过协商或诉讼主张损害赔偿；
     
   • 特殊情形：若收养关系涉及涉外因素或复杂财产安排，建议提前咨询律师，设计合法合规的条款。

总结：收养协议解除时，违约金条款通常无效，但无过错方可依法主张实际损失的赔偿。具体操作需结合协议内容、过错程度及证据情况综合判断，如有疑问可进一步向我咨询。