结论：在您描述的情况下，能否要回一部分钱，取决于您与亲人之间的具体约定、资金投入的性质以及双方的实际贡献等因素。以下是从不同角度进行的分析。
一、法律关系分析
合伙关系：
- 如果您与亲人之间形成了合伙关系，即共同出资、共同经营、共担风险、共享收益，那么即使亲人没有直接投入资金，但如果他参与了经营或提供了其他形式的贡献（如劳务、技术、管理等），则他有权按照合伙协议或法律规定分享利润。
- 在这种情况下，您不能单方面要求要回一部分钱，除非合伙协议中有特别约定或双方协商一致。
借贷关系：
- 如果您将钱借给亲人用于做生意，且双方明确约定了还款期限、利息等条款，那么这构成了一种借贷关系。
- 在这种情况下，您有权要求亲人按照约定还款，包括本金和利息。如果亲人未按照约定还款，您可以通过法律途径追讨。
赠与关系：
- 如果您将钱赠与亲人用于做生意，且没有附加任何条件或约定，那么这构成了一种赠与关系。
- 在这种情况下，您通常无权要求亲人返还赠与的财产，除非存在法定撤销赠与的情形（如受赠人严重侵害赠与人或赠与人近亲属的合法权益等）。
二、实际贡献与公平原则
- 除了法律关系外，还需要考虑您与亲人之间的实际贡献和公平原则。如果亲人虽然没有投入资金，但在生意中发挥了重要作用（如管理、销售、技术等），那么从公平角度出发，他分享一部分利润也是合理的。
- 如果您认为亲人的贡献与所得不成比例，或者存在其他不公平的情况，您可以尝试与亲人协商调整利润分配方式。如果协商不成，您可以考虑通过法律途径解决争议。
三、建议与措施
审查书面协议：
- 首先，审查您与亲人之间是否有任何书面协议（如合伙协议、借贷协议等），并明确协议中的条款和约定。
收集证据：
- 收集与生意相关的所有证据，包括资金投入记录、经营记录、利润分配记录等，以证明您的主张。
协商与调解：
- 尝试与亲人进行协商，寻求双方都能接受的解决方案。如果协商不成，可以考虑通过第三方调解机构进行调解。
法律途径：
- 如果协商和调解都无法解决问题，您可以考虑通过法律途径解决争议。在这种情况下，建议您咨询专业律师以获取更具体的法律建议和帮助。
后续思考：在处理此类问题时，务必保持冷静和理性，避免情绪化决策。同时，要充分考虑各种可能性和后果，做出最符合自己利益的决策。如果您有任何疑问或需要进一步的法律帮助，请直接向我咨询。