诽谤行为不一定要赔钱，但构成侵权或犯罪时通常需要承担赔偿责任。以下从不同角度为您详细分析：

一、构成诽谤罪时的赔偿责任

1. 刑事附带民事赔偿
   根据《中华人民共和国刑法》第二百四十六条，诽谤罪是指以暴力或其他方法公然侮辱他人或捏造事实诽谤他人，情节严重的行为。若行为构成诽谤罪，受害人有权在刑事诉讼中提起附带民事诉讼，要求赔偿包括精神损害抚慰金在内的经济损失。

   • 赔偿范围：涵盖因诽谤导致的直接经济损失（如名誉受损导致的业务损失、维权支出）和精神损害赔偿。
     
   • 赔偿标准：精神损害抚慰金通常根据侵权人的过错程度、侵权行为的具体情节、给受害人造成的精神损害后果等因素综合确定，一般在几千元到数万元不等。

2. 单独提起民事诉讼
   即使诽谤行为未达到刑事犯罪程度，但构成民事侵权的，受害人仍可单独提起民事诉讼，要求赔偿。

   • 赔偿范围：包括停止侵害、恢复名誉、消除影响、赔礼道歉，以及赔偿精神损害抚慰金和直接经济损失。
     
   • 法律依据：根据《中华人民共和国民法典》第一千零二十四条，民事主体享有名誉权，任何组织或个人不得以侮辱、诽谤等方式侵害他人的名誉权。

二、不构成诽谤罪时的责任承担

1. 民事侵权责任
   若诽谤行为情节较轻，未达到犯罪程度，但违反治安管理处罚法或构成民事侵权的，行为人可能需承担以下责任：

   • 行政处罚：根据《中华人民共和国治安管理处罚法》第四十二条，公然侮辱他人或捏造事实诽谤他人的，处五日以下拘留或五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。
     
   • 民事赔偿：受害人可要求行为人停止侵害、恢复名誉、消除影响、赔礼道歉，并可请求精神损害赔偿。

2. 无需赔偿的情形
   若诽谤行为未对受害人造成实际损害（如未导致名誉受损、经济损失或精神痛苦），或行为人能证明其陈述为真实或存在合理怀疑的，可能无需承担赔偿责任。但此类情形需结合具体证据和案件事实综合判断。

三、关键影响因素

1. 损害后果的严重性
   赔偿金额通常与诽谤行为导致的损害后果成正比。例如，若诽谤信息广泛传播，导致受害人社会评价显著降低或遭受重大经济损失，赔偿金额可能较高。

2. 传播范围
   诽谤信息的传播范围（如通过互联网、社交媒体等）会影响赔偿金额。传播范围越广，对受害人名誉的损害可能越严重，赔偿金额也可能相应增加。

3. 行为人的过错程度
   若行为人存在故意或重大过失（如明知陈述为假仍故意传播），赔偿金额可能高于过失情形。

四、建议与注意事项

1. 及时固定证据
   若遭受诽谤，应尽快收集相关证据（如诽谤信息的截图、传播记录、证人证言等），以便在维权时证明损害事实和因果关系。

2. 咨询专业律师
   诽谤案件的赔偿问题涉及法律适用、证据认定和赔偿标准等复杂问题，建议咨询专业律师以制定合理的维权策略。

3. 区分刑事与民事程序
   若诽谤行为涉嫌犯罪，受害人可向公安机关报案；若仅构成民事侵权，可直接向法院提起民事诉讼。两种程序在举证责任、赔偿范围等方面存在差异，需根据具体情况选择。

总结：诽谤行为是否需要赔钱，取决于行为是否构成侵权或犯罪，以及是否对受害人造成了实际损害。若构成侵权或犯罪，受害人通常有权要求赔偿；若未造成实际损害，可能无需赔偿。如有具体案件或疑问，欢迎直接向我咨询。