如果他人以你退赔退赃为由向你索要钱财，并且这种行为符合敲诈勒索的构成要件，那么你可以告他敲诈勒索。

敲诈勒索，是指以非法占有为目的，对被害人使用实施恐吓、威胁或要挟的方法，非法占用被害人公私财物，从而构成犯罪。其构成要件包括：

1. 客体要件：侵犯的客体是复杂客体，不仅侵犯公私财物所有权，还危及他人的人身权利或者其他权益。
2. 客观要件：在客观方面表现为行为人采用威胁、要挟、恫吓等手段，迫使被害人交出财物的行为。
3. 主体要件：主体为一般主体。凡达到法定刑事责任年龄且具有刑事责任能力的自然人均能构成。
4. 主观要件：在主观方面表现为直接故意，必须具有非法强索他人财物的目的。

因此，如果他人以你退赔退赃为由，采用威胁、要挟等手段向你索要钱财，并且你认为这种行为已经危及你的人身权利或者其他权益，那么你可以考虑向公安机关报案，告他敲诈勒索。在报案时，你需要提供尽可能详细的证据和线索，以便公安机关能够进行调查取证。

如果你在这个过程中有任何疑问或需要进一步的法律帮助，请随时向我咨询。