结论：在您描述的情况下，一般难以直接起诉要求赔偿精神损失费，但具体还需结合实际情况判断。以下从多个角度为您详细分析：

一、精神损害赔偿的构成要件

精神损害赔偿通常要求侵权行为造成了严重的精神损害后果。根据《中华人民共和国民法典》及相关司法解释，精神损害赔偿的构成要件一般包括：

1. 侵权行为：即行为人实施了侵害他人人格权等民事权益的行为。
2. 损害后果：即侵权行为导致了受害人严重的精神损害，如精神痛苦、精神障碍等。
3. 因果关系：即侵权行为与损害后果之间存在直接的因果关系。
4. 过错：即行为人主观上存在过错，包括故意和过失。

二、您所描述的情况分析

1. 侵权行为：别人未经允许拿走您放门口的扫帚，确实构成了对您财产权的侵害，但这一行为是否同时构成对人格权的侵害，需进一步分析。在一般情况下，单纯拿走并归还物品的行为，并不直接等同于对人格权的侵害，如名誉权、隐私权等。
2. 损害后果：您提到扫帚被及时归还，且未提及因此遭受了严重的精神损害，如精神痛苦、精神障碍等。因此，从损害后果的角度来看，可能难以满足精神损害赔偿的构成要件。
3. 因果关系与过错：虽然拿走扫帚的行为与您可能产生的短暂不悦之间存在因果关系，但这种不悦通常不足以构成严重的精神损害。同时，若行为人主观上并无恶意或重大过失，而是出于疏忽或误解，则过错程度也相对较轻。

三、特殊情况下的考虑

尽管在一般情况下难以直接起诉要求赔偿精神损失费，但在某些特殊情况下，如：

• 行为人多次实施类似行为：若行为人多次未经允许拿走您的物品，且每次行为都给您带来了精神上的困扰和痛苦，可能构成对人格权的侵害，此时您可以考虑起诉要求赔偿精神损失费。
• 行为人行为恶劣：若行为人拿走扫帚时伴有侮辱、诽谤等恶劣行为，且这些行为直接导致了您严重的精神损害，那么您也有权起诉要求赔偿精神损失费。

四、建议与措施

1. 与行为人沟通：首先，您可以尝试与行为人进行沟通，表达您的不满和困扰，看是否能够达成和解。
2. 收集证据：若您决定采取法律手段维护自己的权益，建议收集相关证据，如监控录像、证人证言等，以证明行为人的侵权行为和您的损害后果。
3. 咨询专业律师：在采取任何法律行动之前，建议您咨询专业律师的意见，以便更准确地评估您的权益和可能的法律后果。

最后，虽然在此情况下直接起诉要求赔偿精神损失费可能较为困难，但您仍可以通过其他途径维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。