结论：针对您描述的“诈骗对方找我商量退还了大部分钱，还剩余款不给”的情况，您可能面临一定的法律风险，但具体处理方式需根据实际情况来判断。以下是从不同角度为您提供的法律分析和建议。
一、法律背景与风险分析
诈骗行为的法律性质：
- 诈骗是指以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取款额较大的公私财物的行为。若您的行为被认定为诈骗，那么您将承担相应的刑事责任。
退还部分款项的法律意义：
- 退还部分款项可能表明您有悔过表现，但这并不足以完全免除您的法律责任。诈骗行为的成立和刑事责任的承担，主要取决于诈骗行为的本身，而非事后的退赔情况。
剩余款项未退还的法律后果：
- 如果剩余款项未退还，且对方选择报警或提起诉讼，您可能面临刑事指控或民事赔偿请求。在刑事方面，如果诈骗金额达到一定标准，您可能构成诈骗罪，面临刑罚；在民事方面，您可能需要承担退赔剩余款项的责任。
二、应对策略与建议
主动与对方协商：
- 建议您主动与对方联系，说明您的实际情况和困难，争取对方的理解和支持，尽量协商退还剩余款项。这有助于减轻您的法律责任，并可能避免更严重的法律后果。
考虑法律后果，积极退赔：
- 如果您有能力退赔剩余款项，建议您尽快退赔。这不仅可以减少您的法律风险，还可能获得对方的谅解，从而在刑事或民事诉讼中获得更有利的处理结果。
寻求法律帮助：
- 如果您对法律程序或法律后果存在疑问，或者对方态度强硬，无法协商解决，建议您及时寻求专业律师的帮助。律师可以为您提供法律咨询、代理诉讼等服务，帮助您更好地应对法律问题。
准备相关证据：
- 在处理此类问题时，证据至关重要。您应收集并保存与诈骗行为、退赔情况等相关的所有证据，如聊天记录、转账记录、退赔协议等。这些证据将在后续的法律程序中发挥重要作用。
三、可能的法律后果与预防措施
刑事责任：
- 如果诈骗金额达到刑事立案标准，且您未退赔全部款项，您可能面临刑事指控。为预防此后果，您应尽快退赔剩余款项，并积极配合司法机关的调查和处理。
民事责任：
- 无论是否构成刑事犯罪，您都可能需要承担民事赔偿责任。为减轻此责任，您应尽量与对方协商解决，并保留好相关证据以证明您的退赔情况和悔过表现。
信用记录受损：
- 诈骗行为不仅可能导致法律责任，还可能对您的信用记录造成严重影响。为预防此后果，您应遵守法律法规，诚信经营，避免涉及任何欺诈行为。
最后，我建议您根据自身实际情况，综合考虑上述法律分析和建议，做出明智的决策。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。