结论：在私下赔偿损失后，若对方只花少部分钱修理，能否要回钱取决于多种因素，包括赔偿协议的具体内容、对方的实际损失情况以及是否存在欺诈或不当得利等情形。以下从不同角度进行分析：
一、赔偿协议的具体内容
若赔偿协议明确约定了赔偿金额与修理费用的对应关系：
- 如果赔偿协议中明确规定了赔偿金额应完全用于修理，并且详细列出了修理项目和费用，那么对方若未按约定使用赔偿款，您有权要求其返还多余部分或按照约定进行修理。
- 法律依据：根据《民法典》的相关规定，当事人应当按照约定履行自己的义务。若对方未履行或未完全履行约定，您有权要求其承担违约责任。
若赔偿协议未明确约定赔偿金额与修理费用的对应关系：
- 如果赔偿协议只是笼统地约定了赔偿金额，并未明确说明该金额应如何用于修理，那么对方在修理上的花费可能具有一定的自主性。在这种情况下，要回多余的钱可能较为困难，除非您能证明对方存在欺诈或不当得利等情形。
二、对方的实际损失情况
若对方实际损失远低于赔偿金额：
- 如果对方在修理上的实际花费远低于您赔偿的金额，且没有其他合理的损失需要补偿，那么您可能有权要求对方返还多余部分。这主要基于不当得利的原则，即对方没有合法依据获得了超出其实际损失的利益。
- 法律依据：根据《民法典》中关于不当得利的规定，得利人没有法律根据取得不当利益的，受损失的人可以请求得利人返还取得的利益。
若对方实际损失与赔偿金额相当或更高：
- 如果对方在修理上的花费与您赔偿的金额相当，或者存在其他合理的损失需要补偿（如因事故导致的其他间接损失），那么您可能无法要求对方返还多余部分。
三、是否存在欺诈或不当得利等情形
若对方存在欺诈行为：
- 如果对方在赔偿过程中存在欺诈行为（如虚报修理费用、伪造修理发票等），您有权要求其返还全部或部分赔偿款，并可能追究其法律责任。
- 法律依据：根据《刑法》的相关规定，诈骗公私财物，数额较大的，构成诈骗罪。同时，根据《民法典》的规定，一方以欺诈手段，使对方在违背真实意思的情况下实施的民事法律行为，受欺诈方有权请求人民法院或者仲裁机构予以撤销。
若对方构成不当得利：
- 如前所述，如果对方没有合法依据获得了超出其实际损失的利益，您有权要求其返还多余部分。这同样适用于对方在修理上花费远低于赔偿金额的情况。
建议与行动
- 收集证据：首先，您需要收集与赔偿相关的所有证据，包括赔偿协议、修理发票、对方实际损失情况的证明等。这些证据将有助于您证明自己的主张。
- 与对方协商：在收集到足够证据后，您可以尝试与对方进行协商，要求其返还多余部分或按照约定进行修理。如果对方同意，那么问题可能得到妥善解决。
- 寻求法律途径：如果协商无果，您可以考虑通过法律途径解决争议。这可能包括向法院提起诉讼或申请仲裁等。在诉讼或仲裁过程中，您需要提交相关证据来支持自己的主张。
最后，每个案件的具体情况都有所不同，因此上述分析仅供参考。如果您在实际操作中遇到问题，可以直接向我咨询，我会根据您的具体情况提供更详细的法律建议。