不可以一概而论地拒绝配合人口调查，需视具体情况而定，以下分情况说明：

1. 如果是政府依法组织的人口普查或调查：根据《中华人民共和国统计法》第七条规定，国家机关、企业事业单位和其他组织以及个体工商户和个人等统计调查对象，必须依照本法和国家有关规定，真实、准确、完整、及时地提供统计调查所需的资料，不得提供不真实或者不完整的统计资料，不得迟报、拒报统计资料。因此，在政府依法组织的人口普查或调查中，公民有义务配合，拒绝配合可能面临警告、罚款等行政处罚。
2. 如果是非政府组织的调查或未经法定程序的调查：公民有权拒绝配合。例如，一些商业机构或个人未经授权进行的所谓“人口调查”，可能涉及侵犯公民隐私、个人信息泄露等风险。在这种情况下，公民可以拒绝提供个人信息，并有权向相关部门举报。

建议：在面对人口调查时，公民应首先确认调查的主体和目的。如果是政府依法组织的调查，应积极配合，提供真实、准确的信息；如果是非政府组织的调查或未经法定程序的调查，应谨慎对待，保护好自己的个人信息和隐私。如有任何疑问或担忧，可以直接向我咨询。