关于您提出的“帮别人买香需要把钱要回来吗”这个问题，其实这主要取决于您与对方之间的具体关系以及买香这一行为的性质。下面我会结合几种常见情况，为您详细分析：

1. 存在委托代理关系： 如果您是受他人明确委托去购买香，并且有相关的证据（如聊天记录、短信、口头协议且有其他证人等）来证明这一委托关系，那么您基于委托合同是有权要求对方偿还您购买香所支出的款项的。这种情况下，您的行为构成了合同之债，对方有义务按照约定偿还您的支出。

2. 无因管理情形： 如果您并没有受到对方的明确委托，但是出于避免对方利益受损的考虑（比如对方因特殊原因无法亲自购买，且情况紧急），而帮忙购买了香，那么您的行为可能构成无因管理。在无因管理的情况下，您有权要求对方偿还您为购买香所支出的必要费用。这是基于无因管理之债的原则。

3. 赠与行为： 如果您是出于赠与的目的，自愿为对方购买香，并且没有明确的约定要求对方偿还，那么通常情况下，您是很难要回这笔钱的。因为赠与行为一旦完成，就视为您已经放弃了对该财产的所有权，对方也无需承担偿还的义务。

举例说明： 假设您和小张是朋友，小张因为某些原因无法亲自去购买香，于是请求您帮忙购买。如果您和小张之间有明确的聊天记录或者其他证据证明这是委托行为，那么您购买香后，有权要求小张偿还您支出的款项。但如果小张并没有明确委托您，而是您出于好意自愿帮忙购买，且没有约定偿还事宜，那么这可能被视为赠与行为，您就难以要回这笔钱了。

综上所述，您能否要回帮别人买香的钱，主要取决于您与对方之间的关系以及买香这一行为的性质。如果您有明确的证据证明是委托行为，或者符合无因管理的情形，那么您是有权要求对方偿还的。但如果您的行为被视为赠与，那么就难以要回这笔钱了。希望这个解答能够帮助您更好地理解这个问题。