结论：关于您提到的“搭个房子，我没有签字，人家拿我的钱，是否犯法”的问题，这主要取决于对方拿钱的行为性质以及您与对方之间的关系和约定。以下是从不同角度进行的分析：
如果对方未经您同意，擅自使用您的资金用于建房：
- 法律性质：这可能构成侵占罪或盗窃罪（具体取决于资金的使用方式和对方的意图）。如果对方以非法占有为目的，秘密窃取您的资金，则可能构成盗窃罪；如果对方以非法占有为目的，将代为保管的您的资金非法占为己有，数额较大且拒不交还，则可能构成侵占罪。
- 法律后果：一旦构成犯罪，对方将面临刑事处罚，包括有期徒刑、拘役或罚金等。同时，您有权要求对方返还被侵占的资金，并可能要求赔偿因此造成的损失。
如果对方与您有某种约定（如合作建房、借款等），但未经您同意擅自改变资金用途：
- 法律性质：这可能构成违约行为或欺诈行为。如果双方有明确的合同约定，对方擅自改变资金用途违反了合同约定，构成违约；如果对方以虚假理由骗取您的资金，则可能构成欺诈。
- 法律后果：对于违约行为，您有权要求对方承担违约责任，包括继续履行合同、赔偿损失等；对于欺诈行为，您有权要求对方返还资金，并可能要求赔偿因此造成的损失。同时，如果欺诈行为情节严重，对方还可能面临刑事处罚。
特殊情况考虑：
- 如果对方是您的家人或亲友，且您之前有过口头或默示的同意：这种情况下，法律关系的认定可能更为复杂。如果对方确实是在您同意或默许的情况下使用资金，那么可能不构成犯罪或违约。但如果您能够证明您并未同意或对方超出了您的同意范围使用资金，那么您仍然有权要求对方承担相应的法律责任。
- 如果资金的使用涉及共同财产或家庭财产：在这种情况下，需要考虑到家庭财产的共有性质以及家庭成员之间的权利义务关系。如果对方未经您同意擅自使用共同财产或家庭财产用于建房，那么您有权要求对方停止侵害、返还财产并赔偿损失。
建议：
- 收集证据：首先，您需要收集所有能够证明对方未经您同意拿走资金的证据，如转账记录、聊天记录、证人证言等。
- 与对方沟通：在收集到足够证据后，您可以尝试与对方进行沟通，要求对方返还资金并解释原因。如果对方愿意配合解决问题，那么可以避免进一步的法律纠纷。
- 寻求法律帮助：如果对方拒绝返还资金或无法达成一致意见，那么您应该及时寻求法律帮助。作为专业律师，我可以根据您的具体情况提供法律咨询和代理服务，帮助您维护自己的合法权益。
后续行动：
- 如果您决定采取法律行动，请确保在诉讼时效内提起诉讼或申请仲裁。
- 在整个过程中，保持冷静和理性，避免采取过激行为或言语攻击对方。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。