不可以不给钱。如果别人施工并在你这里走账，这通常意味着有资金流动和财务往来的发生。在法律上，任何形式的资金往来都应当有明确的法律依据和合理的商业理由。

1. 合同义务：如果双方之间有明确的合同或协议，规定了施工款项的支付方式和时间，那么按照合同约定支付款项是双方的法定义务。不履行合同义务可能会构成违约，进而引发法律纠纷。

2. 不当得利：如果没有合同或协议，或者合同中没有明确规定走账的具体事宜，但实际上发生了资金流动，且你并未提供相应的对价或服务，那么这可能构成不当得利。根据法律规定，不当得利应当予以返还。

3. 税务风险：此外，走账还可能涉及税务问题。如果资金流动没有合法的税务依据，可能会引发税务部门的调查，进而产生税务风险。

因此，无论是从合同义务、不当得利还是税务风险的角度来看，别人都不能仅因为在你这里走账就不给钱。如果你面临这样的情况，建议及时与我联系，我可以为你提供更详细的法律分析和建议。