村民违法建设的唯一住宅并非一定不能按照土地管理法拆除，但拆除需严格遵循法定程序，并综合考虑多种因素，特别是村民的居住权益保障。以下是对此问题的详细分析：

一、法定程序必须遵守

无论是《中华人民共和国土地管理法》还是《中华人民共和国城乡规划法》，均明确规定了对违法建筑的拆除需遵循严格的法律程序。这包括但不限于：

1. 调查认定：相关部门需对房屋是否属于违法建筑进行调查，并作出明确认定。这是拆除行为的前提，确保拆除的合法性和准确性。
2. 告知权利：在作出责令限期拆除决定前，应告知当事人享有的陈述、申辩权，以及申请行政复议或提起行政诉讼的权利。这是保障当事人合法权益的重要环节。
3. 催告履行：若当事人在限期内未自行拆除，行政机关需进行催告，并给予一定的履行期限。这是促使当事人主动履行拆除义务的措施。
4. 强制执行决定：仅当催告期满且当事人仍未履行时，行政机关方可依法作出强制执行决定并实施拆除。这是拆除行为的最后步骤，必须确保程序的合法性和正当性。

二、考虑唯一住房的特殊性

在实际操作中，若违建是村民的唯一住房，行政机关在作出拆除决定和实施拆除行为时需特别谨慎，以保障村民的居住权益。具体措施可能包括：

1. 综合评估：评估拆除对村民居住条件的影响，以及是否存在通过补办手续等方式使房屋合法化的可能性。若房屋符合相关规划且能够通过改正措施消除影响，通常不会直接强拆。
2. 妥善安置：在拆除前，为村民提供临时安置房或给予经济补偿，确保其有基本的居住条件。这是保障村民基本生活需求的重要措施。
3. 人性化处理：根据实际情况，采取更加灵活、人性化的处理方式，避免一刀切地强制拆除。例如，对于因历史原因或政策调整导致的违法建筑，政府可根据实际情况采取特殊处理措施。

三、可能被强拆的情形

尽管需要考虑唯一住房的特殊性，但在某些特定情况下，如违建严重违反城乡规划、占用基本农田或影响重大公共利益项目建设等，且无法通过改正措施消除影响时，即使在履行完法定程序后，也可能需要实施强制拆除。但在此过程中，仍应确保村民的合法权益得到充分保障，如提供合理的安置方案或经济补偿等。

四、应对建议

1. 了解法律法规：村民应了解与违法建筑拆除相关的法律法规，明确自己的合法权益和应对策略。
2. 保留相关证据：收集并保留与房屋相关的所有证据，如建房手续、土地使用证明等，以便在必要时维护自己的合法权益。
3. 积极配合调查：在行政机关进行调查时，如实提供相关信息和资料，以便行政机关做出正确的处理决定。
4. 寻求法律帮助：若认为行政机关的拆除行为违法或侵犯了自己的合法权益，可以向专业律师（如我）咨询并寻求法律帮助。

综上所述，村民违法建设的唯一住宅并非一定不能拆除，但拆除需严格遵循法定程序并综合考虑多种因素。若您面临此类问题，请直接向我咨询，我将根据您的具体情况提供详细的法律建议。