结论：一般情况下，城管不能仅因您原来摆摊二年没有出摊而向您要钱，但存在一些特殊情况可能需要进一步分析。以下为您详细分析：

1. 正常管理范畴下：城管的主要职责是维护城市管理秩序，对违反城市管理规定的行为进行管理和纠正，比如对乱摆摊设点影响市容、交通等行为进行制止、清理等。如果在这两年期间，您没有因为摆摊行为受到过城管的行政处罚决定，且现在也没有继续违规摆摊，城管是没有权力仅以您之前摆过摊为由向您收取费用的。因为收取费用需要有明确的法律依据和合法的程序，不能随意为之。
2. 存在未处理的违规情况：假如在这两年摆摊过程中，您有违反城市管理相关法规的行为，例如未经批准在禁止摆摊的区域摆摊，且城管当时已经发现了您的违规行为并进行了调查取证，只是没有当场处理或者您当时逃避了处理。后续城管在整理相关案件或者进一步调查时，可能会依据相关法规对您进行处罚，这里的处罚形式可能包括罚款等，但这也必须严格按照法定程序进行，要给您出具合法的处罚文书，告知您处罚的事实、理由、依据以及您享有的权利等。
3. 涉及其他费用情况：如果当地政府为了规范摆摊行为，划定了特定的摆摊区域并实行收费管理，而您之前摆摊的区域属于这种需要缴费的区域，但您一直没有缴纳相关费用。在这种情况下，如果城管现在来追缴费用，需要看当地关于这种费用的收取是否有明确的政策规定以及追溯期限等。如果有相关规定且在追溯期限内，那么您可能需要补缴相应费用，但同样城管需要按照合法程序来处理，不能随意强制要求您缴纳。

如果您遇到城管向您要钱的情况，您可以要求城管出示相关的法律依据和合法的执法文书。如果您对城管的行为存在疑问或者认为其不合理，可以进一步向我咨询，我会根据具体情况为您详细分析。