结论：一般情况下，仅因别人未经您同意将您设为贷款紧急联系人，您通常无需直接起诉对方，但可根据具体情况采取不同措施维护自身权益。以下为详细分析：

1. 紧急联系人的法律性质与责任
   紧急联系人在法律上并非担保人或共同借款人，其作用仅是在贷款机构无法联系借款人时，协助转达通知或提供借款人信息（需在合理范围内）。根据《民法典》及相关金融法规，紧急联系人无需承担还款责任，也不因借款人违约而直接产生法律义务。因此，若对方仅将您列为紧急联系人，未要求您签署任何文件或承诺，您本身不因“被设为联系人”这一行为直接遭受法律损害。

2. 未经同意设为紧急联系人的侵权可能性
   若对方在贷款过程中虚构您与借款人的关系（如谎称您是亲属或同事），或泄露您的个人信息（如未经允许向贷款机构提供您的联系方式），可能涉及侵犯您的隐私权或名誉权。此时，您可依据《民法典》第1032条（隐私权保护）或第1024条（名誉权保护）要求对方停止侵害、赔礼道歉，甚至赔偿损失。但需注意：若对方仅通过正常渠道向贷款机构提供您的联系方式（如填写表格），且未虚构事实，则难以构成侵权。

3. 是否需要起诉的考量因素

   • 实际损害：若您因被设为紧急联系人频繁收到贷款机构催收电话、短信，或遭受骚扰、威胁，可先向贷款机构明确拒绝协助，并要求其停止联系（根据《个人信息保护法》第14条，您有权拒绝处理您的个人信息）。若贷款机构继续骚扰，可向当地银保监会或金融监管部门投诉。
     
   • 对方主观恶意：若对方故意通过设您为紧急联系人转移债务压力，或存在其他欺诈行为（如冒用您身份贷款），您可收集证据（如通话记录、短信、贷款合同等）向公安机关报案，或直接向法院起诉对方侵犯隐私权、名誉权或涉嫌诈骗。
     
   • 诉讼成本：起诉需投入时间、精力及诉讼费用，若对方无偿还能力或损害较小，建议优先通过协商、投诉解决。

4. 建议行动步骤

   • 第一步：联系贷款机构，明确告知您与借款人无关联，要求其停止联系并删除您的信息。
     
   • 第二步：若贷款机构继续骚扰，向当地银保监会（12378）或金融消费者权益保护局投诉，要求介入调查。
     
   • 第三步：若对方存在虚构事实、泄露信息等侵权行为，收集证据后向法院起诉，主张停止侵害、赔偿损失（需证明实际损害，如精神损失、误工费等）。
     
   • 第四步：若怀疑对方冒用您身份贷款，立即向公安机关报案，并查询个人征信报告确认是否被盗用信息。

总结：未经同意被设为紧急联系人本身不构成直接起诉的理由，但若因此遭受骚扰、信息泄露或名誉损害，您可通过投诉、协商或诉讼维护权益。具体措施需结合对方行为性质、损害后果及证据情况综合判断。如有进一步疑问或需协助处理，可直接向我咨询。