结论：您可以起诉对方，但需满足一定条件并收集相应证据。以下从多个角度为您详细分析：
一、法律背景与依据
人格权保护：
- 根据《中华人民共和国民法典》的相关规定，自然人享有名誉权等人格权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。
- 在您的情况下，对方威胁要败坏您的名声，这可能构成对您名誉权的侵害。
侵权责任：
- 如果对方确实实施了侮辱、诽谤等行为，且这些行为导致了您的社会评价降低，那么对方可能构成侵权，需要承担相应的法律责任。
二、起诉条件与证据收集
起诉条件：
- 您需要证明对方确实实施了威胁行为，并且这些行为具有违法性（即侵害了您的名誉权）。
- 您还需要证明这些行为与您的名誉受损之间存在因果关系。
- 此外，您需要明确您的诉讼请求，例如要求对方停止侵害、赔礼道歉、赔偿损失等。
证据收集：
- 威胁证据：保存对方威胁您的聊天记录、短信、录音等，这些可以作为对方实施威胁行为的直接证据。
- 名誉受损证据：收集能够证明您名誉受损的证据，如他人对您的负面评价、社会评价降低的证明等。
- 其他相关证据：如您与对方之间的债务关系证明（虽然债务金额不大，但可能作为背景信息提供），以及您因此事受到的精神损害等证据。
三、可能的法律后果与建议
法律后果：
- 如果法院认定对方构成侵权，对方可能需要承担停止侵害、赔礼道歉、赔偿损失等民事责任。
- 在某些情况下，如果对方的威胁行为情节严重，还可能构成刑事犯罪（如侮辱罪、诽谤罪等），但这种情况相对较少见，且需要满足一定的刑事立案标准。
建议：
- 先尝试协商解决：在起诉之前，您可以尝试与对方进行协商，看是否能够达成和解，避免不必要的法律纠纷。
- 及时收集证据：如果协商无果，您应尽快收集上述提到的相关证据，以便在起诉时能够充分证明对方的侵权行为。
- 咨询专业律师：虽然我已经为您提供了一定的法律分析，但每个案件的具体情况都有所不同。在起诉之前，建议您咨询专业律师，以便更准确地评估案件情况和制定诉讼策略。不过，在此您可以先直接向我咨询，我会尽我所能为您提供帮助。
- 注意诉讼时效：根据法律规定，民事权利受到侵害的诉讼时效期间为三年。因此，您需要在知道或应当知道权利受到侵害之日起三年内提起诉讼。
四、特殊情况考虑
- 债务问题：虽然对方威胁您的原因可能与债务有关，但债务问题本身并不构成对方威胁您的合法理由。您仍然可以就对方的威胁行为提起诉讼，同时，如果债务确实存在且您愿意偿还，也可以考虑在诉讼过程中或诉讼后与对方协商解决债务问题。
- 精神损害赔偿：如果对方的威胁行为给您造成了严重的精神损害，您可以在起诉时要求对方赔偿精神损害抚慰金。但需要注意的是，精神损害赔偿的认定和计算通常比较复杂，需要您提供充分的证据来证明您的精神损害程度。