结论：针对您提出的“工地上欠的钱已经要回来了，可是要钱的人不给算账了”这一问题，可以从以下几个角度进行分析和解决：首先尝试与对方沟通协商，明确账目情况；若协商无果，可考虑通过法律途径解决，包括收集证据、提起诉讼或申请仲裁等。
一、沟通协商
明确账目：
- 首先，您需要与对方进行明确的沟通，要求对方提供详细的账目清单，包括欠款金额、还款时间、利息计算等关键信息。
- 在沟通过程中，保持冷静和理性，避免情绪化的争执，以便更有效地解决问题。
协商解决方案：
- 如果对方确实存在账目不清或拒绝算账的情况，您可以提出协商解决方案，如共同委托第三方机构进行账目审计，或者根据双方认可的证据进行结算。
- 协商过程中，可以寻求中立第三方的协助，如工地负责人、调解委员会等，以促进双方达成共识。
二、法律途径
收集证据：
- 如果沟通协商无果，您需要开始收集相关证据，以证明欠款事实、还款情况以及对方拒绝算账的行为。
- 证据可以包括借条、收据、转账记录、聊天记录、证人证言等。确保这些证据真实、合法、有效，并能够形成完整的证据链。
提起诉讼：
- 在收集到足够证据后，您可以向法院提起诉讼，要求对方进行账目清算并支付剩余款项（如有）。
- 诉讼过程中，您需要按照法院的要求提交证据、参加庭审等。如果对方仍然拒绝算账或支付款项，法院将根据证据和法律规定作出判决。
申请仲裁：
- 如果双方在合同中约定了仲裁条款，或者事后达成了仲裁协议，您也可以选择向仲裁机构申请仲裁。
- 仲裁程序相对灵活且高效，仲裁裁决具有法律效力，可以强制执行。
三、注意事项
保留证据：
- 在整个过程中，务必保留好所有相关证据，以备不时之需。证据是维护您权益的关键。
及时行动：
- 如果发现对方有拒绝算账或拖欠款项的行为，应及时采取行动，避免超过诉讼时效或仲裁时效。
寻求专业帮助：
- 如果您对法律程序不熟悉或感到困惑，可以寻求专业律师的帮助。律师可以为您提供法律咨询、代理诉讼或仲裁等服务，帮助您更好地维护自己的权益。
四、可能后果
- 如果对方在法院判决或仲裁裁决后仍然拒绝履行义务，您可以向法院申请强制执行。法院将采取一系列措施来强制对方履行义务，包括查封、扣押、拍卖财产等。
- 如果对方的行为构成犯罪（如诈骗、拒不执行判决、裁定罪等），您还可以向公安机关报案，追究对方的刑事责任。
针对您的情况，我建议您首先尝试与对方进行沟通协商，明确账目情况并寻求解决方案。如果协商无果，再考虑通过法律途径解决。 在整个过程中，务必保留好相关证据，并及时寻求专业帮助。如果您有任何疑问或需要进一步的法律咨询，请直接向我提问。