结论：托人办事没办成且对方不给退钱，一般不能直接以“借钱”为由起诉，但可以根据实际情况选择其他合适的法律途径来维护自己的权益。

详细分析：

1. 法律关系的本质：

   • 在您描述的情况中，关键在于识别您与对方之间的法律关系。如果双方最初是基于委托关系（即您委托对方办理某事，并支付了相应费用），那么这构成了一种委托合同关系，而非借贷关系。
   • 借贷关系通常指的是一方将资金出借给另一方，另一方承诺在未来某个时间点归还本金及可能约定的利息。在您的情况下，资金并非作为借款给出，而是作为办理事务的费用，因此不符合借贷关系的本质。

2. 可能的法律途径：

   • 委托合同纠纷：如果双方确实存在委托关系，且对方未能完成委托事项，您有权要求对方退还已支付的费用。这可以通过提起委托合同纠纷诉讼来实现，要求对方承担违约责任或返还财产。
   • 不当得利返还：如果对方没有合法依据（如未完成委托事项）而收取了您的费用，且拒绝退还，这可能构成不当得利。在这种情况下，您也可以考虑提起不当得利返还之诉，要求对方返还非法所得。
   • 诈骗犯罪的刑事举报：如果对方在收取费用时就有欺诈的故意，且实际上并未打算或无法完成委托事项，这可能构成诈骗犯罪。在这种情况下，您可以向公安机关报案，要求追究对方的刑事责任，并可能通过刑事附带民事诉讼的方式要求赔偿。

3. 为何不能以“借钱”为由起诉：

   • 以“借钱”为由起诉意味着您需要证明双方之间存在借贷关系，包括借款的合意、资金的交付以及还款的承诺等。在您描述的情况中，这些要素通常都不存在。
   • 如果错误地以借贷关系起诉，可能会导致法院驳回您的诉讼请求，因为法院会基于事实和法律来认定双方之间的法律关系，并据此作出判决。

建议：

• 在采取任何法律行动之前，建议您先收集并整理好所有与对方之间的通信记录、转账凭证、委托协议（如果有的话）等证据材料。
• 咨询专业律师（比如我，冯浩律师，专注于经济纠纷、合同纠纷领域），根据您的具体情况和证据材料，为您制定合适的法律策略。
• 根据律师的建议，选择合适的法律途径来维护自己的权益，如提起委托合同纠纷诉讼、不当得利返还之诉或向公安机关报案等。

如果您有任何进一步的疑问或需要进一步的法律帮助，请随时向我咨询。