结论：您可以考虑起诉中止对方的探视权，但需要满足一定的法律条件并收集充分的证据来支持您的诉求。
法律背景与依据：
根据《中华人民共和国民法典》的相关规定，离婚后，不直接抚养子女的父或者母，有探望子女的权利，另一方有协助的义务。然而，如果父或者母探望子女，不利于子女身心健康的，由人民法院依法中止探望；中止的事由消失后，应当恢复探望。这为您起诉中止对方的探视权提供了法律依据。
具体分析与建议：
收集证据：
- 您需要收集对方在探视期间对孩子实施不良行为的证据，如孩子身上的伤痕照片、医疗记录（如果有受伤情况）、孩子或目击者的证言、录音录像等。这些证据需要能够清晰地证明对方的行为确实不利于孩子的身心健康。
- 特别是关于孩子半夜被要求拖地做家务的情况，如果这确实发生了，并且对孩子的身心健康造成了负面影响，那么这也是非常重要的证据。
评估影响：
- 您需要评估对方的行为对孩子造成的具体影响，包括身体上的伤害、心理上的创伤、学习上的干扰等。这些影响需要是实质性的，并且能够通过证据来证明。
提起诉讼：
- 在收集到充分的证据并评估了影响后，您可以向法院提起诉讼，请求中止对方的探视权。在诉讼过程中，您需要提交证据，并说明对方的行为如何不利于孩子的身心健康。
法院裁决：
- 法院将根据您提交的证据和对方的陈述，进行综合判断。如果法院认为对方的行为确实不利于孩子的身心健康，那么法院可能会裁决中止对方的探视权。
后续行动：
- 如果法院裁决中止对方的探视权，您需要确保这一裁决得到执行。同时，您也应该关注孩子的身心健康状况，确保孩子在一个安全、健康的环境中成长。
- 如果中止的事由消失（例如对方改正了行为），您可以向法院申请恢复对方的探视权。
可能面临的挑战与应对：
- 证据收集难度：收集证据可能是一个挑战，特别是如果对方不配合或者试图隐藏证据。在这种情况下，您可能需要寻求专业帮助，如聘请私家侦探或咨询律师，以获取更有效的证据。
- 法院裁决的不确定性：即使您提交了充分的证据，法院也可能因为各种原因（如证据不足、对方反驳等）而不裁决中止对方的探视权。在这种情况下，您需要尊重法院的裁决，并考虑其他途径来保护孩子的权益，如加强与对方的沟通、寻求第三方调解等。
最后建议：
在处理这类问题时，我建议您保持冷静和理性，不要因为情绪而做出冲动的决定。同时，您也应该积极寻求专业帮助，如咨询律师或心理咨询师，以更好地应对这个问题。如果您有任何疑问或需要进一步的法律建议，请随时向我咨询。