结论是：一般情况下，工人去到工地后，如果老板不支付工资且不安排工作，工人并不需要赔钱给老板。但具体是否需要承担责任，还需根据双方签订的合同内容以及实际情况来判断。
一、从劳动合同角度分析
劳动合同的效力：
- 如果工人与老板之间签订了书面的劳动合同，那么这份合同就是双方权利和义务的法律依据。
- 合同中通常会明确约定工作内容、工资待遇、工作时间等关键条款。
老板不支付工资的责任：
- 根据《中华人民共和国劳动合同法》的相关规定，用人单位（即老板）应当按照劳动合同约定和国家规定，向劳动者（即工人）及时足额支付劳动报酬。
- 如果老板不支付工资，这构成违约行为，工人有权要求老板支付工资，并可能要求支付违约金或赔偿金（具体取决于合同约定和法律规定）。
工人是否需要赔钱：
- 在老板不支付工资且不安排工作的情况下，工人并没有违反劳动合同的约定，因此通常不需要赔钱给老板。
- 如果工人因为老板的原因而无法工作，且合同中没有约定工人需要因此承担责任，那么工人更无需赔钱。
二、从实际损失和过错角度分析
实际损失：
- 如果工人因为老板的原因（如不支付工资、不提供工作条件等）而遭受了实际损失（如交通费、住宿费等），工人可以要求老板赔偿这些损失。
- 但这并不意味着工人需要赔钱给老板，而是老板需要赔偿工人的损失。
过错原则：
- 在民事法律关系中，通常遵循“过错原则”，即谁有过错，谁就应当承担相应的责任。
- 在老板不支付工资且不安排工作的情况下，过错在于老板，因此应当由老板承担责任，而不是工人。
三、特殊情况下的责任承担
合同中的特殊约定：
- 如果劳动合同中有特殊约定，比如工人需要承担因自身原因导致无法工作的责任，那么在这种情况下，工人可能需要按照合同约定承担一定的责任。
- 但这种情况比较罕见，且需要合同中有明确的约定。
工人的过错行为：
- 如果工人因为自身的过错行为（如故意损坏工具、违反安全规定等）导致无法工作或给老板造成了损失，那么工人可能需要承担相应的责任。
- 但这并不属于“老板钱不要人”的情况，而是工人自身的过错行为导致的责任。
建议：
- 如果遇到老板不支付工资且不安排工作的情况，工人应当首先与老板进行协商，要求老板按照合同约定支付工资和安排工作。
- 如果协商无果，工人可以向当地的劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。
- 在整个过程中，工人应当保留好相关的证据（如劳动合同、工资条、工作记录等），以便在需要时证明自己的权益。
如果有任何具体的法律问题或需要进一步的帮助，可以直接向我咨询。