在没有证据证明被威胁的情况下，仅凭被威胁签下委托书这一事实，直接起诉对方可能面临较大困难，但并非完全不可行，需结合具体情况分析。以下从不同角度为你详细阐述：
一、法律背景与规定
在法律上，威胁他人签订合同（包括委托书）可能构成胁迫行为。根据《中华人民共和国民法典》的相关规定，一方或者第三人以胁迫手段，使对方在违背真实意思的情况下实施的民事法律行为，受胁迫方有权请求人民法院或者仲裁机构予以撤销。然而，要成功撤销该委托书或追究对方责任，关键在于证明胁迫行为的存在。
二、证据的重要性与收集
证据的重要性：
- 证据是证明胁迫行为存在的关键。没有证据，法院或仲裁机构难以认定胁迫事实，从而难以支持你的诉求。
证据的收集：
- 直接证据：如录音、录像、短信、邮件等，能够直接证明对方威胁你的言行。
- 间接证据：如证人证言（如在场的其他人）、报警记录（如果当时报警了）、医疗记录（如果威胁导致你身体受伤）等，这些证据虽然不能直接证明胁迫，但可以与其他证据相互印证，形成完整的证据链。
- 尝试补救：如果当时没有收集到证据，事后可以尝试与对方沟通，通过录音、录像或书面方式固定对方承认威胁的证据。同时，也可以寻找其他可能的证人或证据来源。
三、起诉的可行性与建议
起诉的可行性：
- 如果没有直接证据，但有其他间接证据能够形成完整证据链的，仍然有可能起诉成功。但这种情况下的诉讼风险较大，需要谨慎考虑。
- 如果完全没有证据，起诉可能会面临败诉的风险。因为法院或仲裁机构在无法认定胁迫事实的情况下，通常会维持委托书的效力。
建议：
- 尝试协商：在起诉之前，可以尝试与对方协商，看是否能够达成和解或撤销委托书。这通常是最快捷、最经济的解决方式。
- 咨询律师：在决定起诉之前，建议咨询专业律师，评估诉讼风险和可行性。律师可以根据你的具体情况，为你提供更具体的法律建议和诉讼策略。
- 收集证据：如果决定起诉，应尽快收集证据，包括直接证据和间接证据。同时，也可以考虑申请法院调查取证或要求对方提供证据。
四、可能的法律后果
如果起诉成功：
- 委托书将被撤销，你不再受其约束。
- 如果因胁迫行为给你造成了损失，你还可以要求对方承担赔偿责任。
如果起诉失败：
- 委托书将继续有效，你需要继续履行其规定的义务。
- 你可能需要承担诉讼费用等经济损失。
如果你面临被威胁签下委托书的情况，且没有直接证据，建议先尝试协商解决或咨询专业律师。在决定起诉之前，务必充分评估诉讼风险和可行性，并尽快收集证据以支持你的诉求。如果你有任何进一步的法律问题或需要更具体的法律建议，可以直接向我咨询。