结论：根据您描述的情况，对方的行为是否构成犯罪以及您是否需要承担法律责任，需结合具体证据和事实细节来判断，目前无法直接定性为某一具体罪名。不过，我可以从几个可能的角度为您分析这一情况。

1. 对方行为是否构成犯罪：

   • 如果对方先动手打人，其行为可能涉嫌违反《治安管理处罚法》中的相关规定，如“殴打他人的，或者故意伤害他人身体的”，可处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。若对方行为造成您轻伤及以上后果，还可能涉嫌构成《刑法》中的“故意伤害罪”。
   • 对方声称“要赖您倾家荡产”，若其意图通过虚假陈述或诬告等方式达到非法目的，可能涉嫌构成“诬告陷害罪”，但这一罪名的成立需要满足特定的条件，如捏造事实诬告陷害他人，意图使他人受刑事追究，且情节严重等。

2. 您的行为是否构成正当防卫或防卫过当：

   • 您在对方先动手的情况下推了对方一下，这一行为可能被视为正当防卫。根据《刑法》的规定，为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为，对不法侵害人造成损害的，属于正当防卫，不负刑事责任。
   • 然而，如果您的防卫行为明显超过必要限度造成重大损害，则可能构成防卫过当，需要承担相应的法律责任。但在此案例中，您仅推了对方一下，且对方是在3分钟后自行躺下，从描述来看，您的行为不太可能构成防卫过当。

3. 对方自行躺下的法律后果：

   • 对方自行躺下并声称要赖您倾家荡产，这一行为本身并不直接构成犯罪。但如果对方以此为要挟，试图向您索取财物或达到其他非法目的，则可能涉嫌构成“敲诈勒索罪”。
   • 此外，如果对方在躺下后出现身体不适或受伤等情况，且能够证明这些后果与您的行为有直接因果关系，您可能需要承担一定的民事赔偿责任。但从您描述的情况来看，对方是在3分钟后自行躺下，这一因果关系较难直接建立。

建议：

• 在处理此类事件时，首先确保自身安全，避免与对方发生进一步的冲突。
• 尽可能收集并保留相关证据，如现场照片、视频、目击者证言等，以便在需要时证明自己的清白和对方的过错。
• 如果对方持续纠缠或威胁您，建议及时向公安机关报案，并寻求法律帮助。

后续思考：

• 在此类事件中，证据的收集和保存至关重要。它不仅能够帮助您证明自己的清白，还可能在必要时作为追究对方法律责任的有力依据。
• 如果对方的行为确实给您造成了困扰或损失，您可以通过法律途径维护自己的合法权益，如提起民事诉讼要求对方赔偿损失或承担其他法律责任。

如有任何进一步的问题或需要进一步的法律帮助，请随时向我咨询。