一般情况下，不能仅因违建只拆一家而拒绝拆除。以下是详细的分析和解释：

1. 法律依据与拆除决定的独立性：

   • 违建不受法律保护，相关部门有权依法对违建进行查处和拆除。
   • 行政机关作出的拆除决定，是基于建筑物本身是否违反了城乡规划、建设审批等相关法律法规，而非拆除数量。
   • 只要建筑被认定为违建，就应当按照要求拆除，这一决定是独立的，不因其他同类建筑是否拆除而受影响。

2. 维权途径：

   • 若认为只拆自己一家存在不公平情况，可通过合法途径维权。
   • 可以要求行政机关说明作出拆除决定的事实、理由和依据，审查其认定违建及实施拆除的程序是否合法合规。
   • 若对行政机关的拆除决定不服，可在规定时间内申请行政复议或者提起行政诉讼，请求上级机关或司法机关审查行政行为的合法性与合理性。

3. 拆除决定的执行：

   • 在复议或诉讼期间，原则上不停止执行拆除决定，除非满足法定的停止执行条件。
   • 因此，即使提起了复议或诉讼，也不能直接拒绝拆除，而应通过法律程序寻求救济。

综上所述，不能直接拒绝拆除违建，而应通过合法途径解决争议。如果你面临此类问题，建议尽快咨询专业律师，以便更好地维护自己的合法权益。