结论：面对物业以“业主自由活动扰民”为由要求业主离开的情况，业主应首先确认自身行为是否确实构成扰民，若不构成，则有权拒绝物业的不合理要求，并可通过沟通、投诉或法律途径维护自身权益。

详细分析：

1. 确认行为是否扰民：

   • 业主应首先自我审视，确认自己的自由活动是否确实超出了合理范围，对他人造成了实质性的干扰或损害。例如，是否在深夜大声喧哗、播放音乐，或者进行了其他影响他人正常生活的行为。
   • 若业主认为自己的行为并未扰民，或者虽有轻微影响但已采取合理措施减少影响（如降低音量、调整活动时间等），则有权拒绝物业的不合理要求。

2. 与物业沟通：

   • 业主应主动与物业进行沟通，了解物业提出赶业主走的具体原因和依据。
   • 在沟通过程中，业主可以表达自己的观点和立场，提供证据证明自己的行为并未扰民，或者已采取措施减少影响。
   • 若物业坚持认为业主行为扰民，业主可以要求物业提供具体的证据或法律依据。

3. 投诉与举报：

   • 若与物业沟通无果，业主可以向相关部门进行投诉或举报。例如，可以向当地的房地产管理部门、物业管理协会或消费者协会等机构反映情况，寻求帮助和支持。
   • 在投诉或举报时，业主应提供详细的情况说明和证据材料，以便相关部门能够准确了解情况并作出处理。

4. 法律途径：

   • 若物业的行为严重侵犯了业主的合法权益，业主还可以考虑通过法律途径来维护自己的权益。例如，可以向法院提起诉讼，要求物业停止侵权行为、赔偿损失等。
   • 在提起诉讼前，业主应咨询专业律师的意见，了解自己的权利和义务以及诉讼的风险和成本。

法律背景：

• 根据《物业管理条例》等相关法律法规的规定，物业有权对小区内的公共秩序和环境卫生进行管理，但无权随意驱赶业主。
• 业主在小区内享有合法的居住权和使用权，只要其行为不违反法律法规和小区管理规约的规定，物业就无权干涉或限制。

建议：

• 业主在面对物业的不合理要求时，应保持冷静和理性，通过合法途径来维护自己的权益。
• 业主也应自觉遵守小区管理规约和法律法规的规定，尊重他人的合法权益，共同营造和谐、宜居的小区环境。

若您在处理此类问题时遇到任何困难或疑问，可以直接向我咨询，我会根据您的具体情况提供详细的法律建议和帮助。