当房屋买卖合同中的实际损失大于约定的违约金时，您可以通过以下方式主张责任：

1. 首先审查合同条款：

   • 仔细查看房屋买卖合同中关于违约金的约定，确认是否存在关于违约金调整或实际损失赔偿的特别条款。有些合同可能允许在特定情况下，如实际损失显著高于违约金时，对违约金进行调整或要求赔偿实际损失。

2. 收集并证明实际损失：

   • 收集所有与实际损失相关的证据，包括但不限于购房发票、装修费用、搬迁费用、因违约导致的租金损失等。
   • 确保这些证据能够清晰、准确地反映您的实际损失金额，并且这些损失是由于对方的违约行为直接导致的。

3. 与对方协商：

   • 在掌握了充分的证据后，尝试与对方进行协商，提出调整违约金或赔偿实际损失的要求。
   • 协商过程中，保持冷静和理性，以事实为依据，以法律为准绳，争取达成双方都能接受的解决方案。

4. 通过法律途径解决：

   • 如果协商无果，您可以考虑通过法律途径来维护自己的权益。
   • 向法院提起诉讼，要求对方按照实际损失进行赔偿。在诉讼过程中，您需要提交之前收集的证据，以证明您的实际损失金额和对方的违约行为。
   • 法院将根据事实和法律规定，对案件进行审理，并作出判决。如果判决支持您的诉求，对方将需要按照判决结果进行赔偿。

5. 注意诉讼时效和证据保全：

   • 在提起诉讼前，确保您的诉求没有超过法律规定的诉讼时效期间。
   • 同时，考虑对关键证据进行保全，如申请法院对对方的财产进行查封、冻结等，以确保在判决后能够顺利执行。

在处理此类纠纷时，建议您保持冷静和理性，以法律为准绳，通过合法途径来维护自己的权益。如果您在此过程中遇到任何疑问或需要进一步的法律帮助，请随时向我咨询。