在人口抽样调查中，一般情况下，被调查者有义务配合调查并如实回答问题，不能随意拒绝。以下从不同角度对此问题进行详细分析：
法律义务角度
根据《中华人民共和国统计法》的相关规定，国家机关、企业事业单位和其他组织以及个体工商户和个人等统计调查对象，必须依照本法和国家有关规定，真实、准确、完整、及时地提供统计调查所需的资料，不得提供不真实或者不完整的统计资料，不得迟报、拒报统计资料。人口抽样调查作为统计调查的一种形式，被调查者同样需要履行这一法律义务。因此，从法律义务的角度来看，被调查者不能随意拒绝回答问题。
调查性质与目的角度
人口抽样调查是为了了解人口的基本情况、结构、分布等，为政府制定人口政策、规划社会发展提供科学依据。这种调查具有公共利益属性，其结果关系到社会公共利益的实现。因此，被调查者作为社会的一员，有责任和义务参与调查，为社会的整体发展贡献自己的力量。拒绝参与调查或提供不真实信息，可能会影响调查结果的准确性，进而影响政府决策的科学性和有效性。
特殊情况处理
虽然一般情况下被调查者不能拒绝回答问题，但在某些特殊情况下，如涉及个人隐私、商业秘密等敏感信息时，被调查者有权要求调查人员保密或拒绝提供相关信息。然而，这种拒绝并非无条件的，而是需要在法律允许的范围内进行。如果调查人员能够证明其调查行为符合法律规定，且所要求提供的信息不涉及个人隐私或商业秘密等敏感内容，那么被调查者仍然需要履行配合调查的义务。
法律后果角度
如果被调查者拒绝参与人口抽样调查或提供不真实信息，可能会面临一定的法律后果。根据《中华人民共和国统计法》的规定，统计调查对象拒绝提供统计资料或者经催报后仍未按时提供统计资料的，由县级以上人民政府统计机构责令改正，给予警告，可以并处一万元以下的罚款；对直接负责的主管人员和其他直接责任人员，由任免机关或者监察机关依法给予处分。因此，被调查者应当认真对待人口抽样调查，如实提供所需信息。
建议：
如果有任何关于人口抽样调查或其他法律问题的疑问，可以直接向我咨询。