结论：威胁不给钱就不给非法扣留的财物，即使没有明确说要毁坏财物，该行为仍有可能构成敲诈勒索，但具体是否构成犯罪需结合案件的具体情况来判断。
分析：
敲诈勒索的构成要件：
- 敲诈勒索罪是指以非法占有为目的，对被害人使用实施恐吓、威胁或要挟的方法，非法占用被害人公私财物，从而构成犯罪。
- 在此情况下，威胁不给钱就不给非法扣留的财物，实际上是对被害人施加了一种精神上的强制，使其产生恐惧心理，进而可能被迫交付财物。这种行为符合敲诈勒索罪中“威胁”的构成要件。
是否明确说要毁坏财物的影响：
- 虽然行为人没有明确说要毁坏财物，但威胁不给钱就不给非法扣留的财物，本身已经隐含了如果被害人不满足其要求，可能会面临财物无法取回的风险。这种风险足以使被害人产生恐惧心理，从而可能构成敲诈勒索。
- 敲诈勒索罪的成立并不要求行为人必须明确表示要毁坏财物，只要其威胁行为足以使被害人产生恐惧心理并交付财物即可。
案件具体情况的考量：
- 在判断该行为是否构成敲诈勒索罪时，还需要考虑案件的具体情况，如行为人的主观意图、威胁的方式和程度、被害人的反应等。
- 如果行为人只是以非法扣留财物为手段，试图通过威胁迫使被害人交付财物，且该威胁行为足以使被害人产生恐惧心理，那么该行为很可能构成敲诈勒索罪。
- 如果行为人并没有非法占有的目的，或者威胁行为并不足以使被害人产生恐惧心理，那么该行为可能不构成敲诈勒索罪。
法律建议：
- 如果您或他人面临类似情况，建议立即向公安机关报案，并提供相关证据，如威胁的录音、短信、邮件等，以便公安机关进行调查取证。
- 在报案前，您可以咨询专业律师（即我本人，赵凌锋律师，专注于刑事辩护、公司犯罪领域），了解具体的法律程序和可能面临的法律后果，以便更好地维护自己的合法权益。
可能法律后果：
- 如果该行为被认定为敲诈勒索罪，行为人可能面临刑事处罚，包括有期徒刑、拘役、罚金等。
- 具体的刑罚将根据犯罪情节的严重程度、行为人的主观恶性、被害人的损失情况等因素进行综合考量。
综上所述，威胁不给钱就不给非法扣留的财物，即使没有明确说要毁坏财物，该行为仍有可能构成敲诈勒索罪。但具体是否构成犯罪需结合案件的具体情况来判断。如果您或他人面临类似情况，请及时咨询专业律师并报案处理。