结论：在别人污蔑你拿了他五千块钱的情况下，你确实有可能以诽谤罪起诉他，但具体是否构成诽谤罪，需要依据实际情况和相关法律规定进行综合判断。
一、诽谤罪的构成要件
根据《中华人民共和国刑法》的相关规定，诽谤罪是指故意捏造并散布虚构的事实，足以贬损他人人格，破坏他人名誉，情节严重的行为。要构成诽谤罪，通常需要满足以下几个要件：
- 捏造事实：即无中生有，凭空制造虚假的事实。
- 散布虚构事实：将捏造的事实以一定的方式公开传播，如口头传播、书面传播或通过网络传播等。
- 足以贬损他人人格、破坏他人名誉：即所散布的事实必须对他人的人格和名誉造成实质性的损害。
- 情节严重：这通常指的是诽谤行为的性质恶劣、影响范围广泛或造成的后果严重等。
二、针对你情况的具体分析
如果对方确实是在捏造事实并散布：
- 如果对方没有证据证明你拿了他的五千块钱，而是凭空捏造并四处散布这一虚假事实，对你的名誉造成了损害，且情节严重（如多次散布、在公共场合散布、造成你社会评价显著降低等），那么对方的行为可能构成诽谤罪。
如果对方只是误解或误传：
- 如果对方并非故意捏造事实，而是由于误解或误传导致的信息不准确，那么这种情况通常不构成诽谤罪。但你可以要求对方停止传播、澄清事实，并可能通过民事途径要求对方赔偿因误解或误传给你造成的损失。
如果对方有证据但证据不足或存在争议：
- 如果对方声称你拿了他的钱，并提供了某些证据，但这些证据不足以证明你的行为，或者证据存在争议，那么这种情况通常也不构成诽谤罪。然而，这可能会引发民事纠纷，你可以通过法律途径解决争议，并要求对方承担相应的法律责任。
三、建议与措施
收集证据：
- 如果对方确实在诽谤你，你应该尽快收集相关证据，如对方散布虚假事实的聊天记录、录音、视频等，以及能够证明你清白的证据，如不在场证明、相关交易记录等。
与对方沟通：
- 在收集到足够证据后，你可以尝试与对方沟通，要求对方停止诽谤行为、澄清事实，并可能要求对方公开道歉或赔偿损失。
寻求法律帮助：
- 如果对方拒绝沟通或继续诽谤你，你可以考虑向公安机关报案或向法院提起诉讼，要求对方承担相应的法律责任。在这个过程中，你可以咨询我这样的专业律师，以获取更具体的法律建议和帮助。
注意保护自己的名誉权：
- 在整个过程中，你要注意保护自己的名誉权，避免因为对方的诽谤行为而受到不必要的损害。你可以通过公开澄清事实、发布声明等方式来维护自己的名誉。
如果你有任何进一步的疑问或需要更具体的法律建议，请直接向我咨询。