在一般情况下，对于合法的人口调查，如政府或相关机构基于公共利益或法律程序进行的调查，豪宅的业主是不能拒绝的。 不过，我们可以从多个角度来详细分析这个问题：

1. 合法调查的背景与目的：

   • 政府或相关机构进行的人口调查，通常是为了公共利益，如统计人口数据、规划城市发展、提供公共服务等。这类调查具有合法性和正当性，业主应当配合。
   • 如果调查是基于法律程序，如法院的调查令、检察院的侦查需要等，业主同样有义务配合，否则可能面临法律责任。

2. 业主的权利与义务：

   • 业主作为房产的合法所有者，享有房产的使用权、收益权和处分权。但同时，业主也有义务遵守法律法规，包括配合政府或相关机构的合法调查。
   • 如果业主拒绝配合合法调查，可能会面临行政处罚、民事责任甚至刑事责任，具体取决于调查的性质和业主的拒绝行为。

3. 特殊情况下的拒绝权：

   • 在某些特殊情况下，如调查程序不合法、调查人员没有合法证件或授权、调查内容超出法定范围等，业主有权拒绝配合调查，并可以向相关部门投诉或举报。
   • 另外，如果业主认为调查侵犯了其隐私权或其他合法权益，也可以通过法律途径维护自己的权益。但这种情况下，业主需要提供充分的证据来证明调查的违法性或侵权性。

4. 豪宅的特殊性：

   • 豪宅作为高端房产，其业主可能更加注重隐私保护和个人信息安全。然而，这并不意味着豪宅业主可以拒绝所有合法调查。
   • 无论房产的价值如何，业主都有义务遵守法律法规，配合政府或相关机构的合法调查。如果豪宅业主拒绝配合合法调查，同样可能面临法律责任。

建议：

• 如果您作为豪宅业主收到合法的人口调查通知，建议您积极配合调查，提供必要的信息和资料。
• 如果您对调查的程序、内容或调查人员的身份有疑问，可以要求调查人员出示合法证件或授权文件，并可以向相关部门咨询或核实。
• 如果您认为调查侵犯了您的合法权益，可以通过法律途径维护自己的权益，但在此之前，请确保您有充分的证据来支持您的主张。

总之，合法的人口调查是政府或相关机构为了公共利益或法律程序而进行的，业主应当配合。如果您有任何疑问或需要进一步的法律建议，请随时向我咨询。