针对你提出的问题，我们首先明确几个关键点：一是你收了别人的钱来安排工作；二是工作已经安排好了，但对方不愿意去；三是你已经退了一部分钱。现在的问题是，这样的行为是否构成诈骗。

结论前置：根据描述，此行为通常不构成诈骗，但可能涉及民事纠纷或不当得利的问题。

分析说明：

1. 诈骗的定义：诈骗通常指的是以非法占有为目的，使用欺骗方法，骗取数额较大的公私财物的行为。在这个情况下，你收取了费用并尝试为对方安排工作，且在工作无法成行时退还了部分费用，这表明你并没有明显的非法占有目的，也没有使用欺骗方法让对方陷入错误认识并处分财产。

2. 民事纠纷的可能性：如果双方之前有明确的约定，比如你收取的费用是服务费，且约定如果工作无法安排则全额退款，那么在你只退还部分费用的情况下，对方可能会主张你违约，要求你退还剩余费用。这就构成了一个民事纠纷。

3. 不当得利的问题：如果你收取的费用超出了你实际提供的服务价值，或者在没有明确约定的情况下收取了费用，那么在你无法提供相应服务时，对方可能会主张你构成不当得利，要求你退还多收的部分。

法律建议：

• 如果你和对方之间有书面协议或聊天记录等证据，建议仔细查看其中的条款，确保你的行为符合双方的约定。
• 如果对方提出退款要求，建议双方协商解决，尽量达成一个双方都能接受的退款方案。
• 如果无法协商解决，对方可能会通过法律途径来维护自己的权益，届时你可能需要聘请律师来应对可能的诉讼。

总之，根据你的描述，此行为通常不构成诈骗，但可能涉及民事纠纷或不当得利的问题。建议你根据具体情况，与对方协商解决，并保留好相关证据以备不时之需。