关于行政单位是否可以向单位（这里假设您指的是行政单位与劳动者或合同相对方之间的关系）收取违约金的问题，这并非一个简单的“是”或“否”的答案，而是需要根据具体情况和法律法规来综合判断。
首先，我们要明确的是，行政单位在行使职权时，必须严格遵循法律法规的规定，不得随意创设或扩大自己的权力。在涉及违约金的问题上，行政单位的合法性主要取决于是否有明确的法律授权、合法的约定，以及是否在法定的权限和程序范围内进行。
一、合法收取违约金的情形
有明确法律授权或合法约定的行政管理活动：
- 如果相关法律法规明确赋予了行政单位在特定管理活动中收取违约金的权力，比如国有土地出让合同中，自然资源部门可以依据《土地管理法》等相关法律法规及出让合同约定收取违约金，那么这种收取行为就是合法的行政管理手段。
- 行政单位作为平等民事主体参与民事活动时，如建设工程合同等，如果合同中明确约定了违约金条款，且对方出现违约行为，那么行政单位按照合同约定收取违约金，也是符合民事法律规定的。
劳动合同中的特殊约定：
- 根据《劳动合同法》第二十二条的规定，如果行政单位（作为用人单位）为劳动者提供了专项培训费用，并进行了专业技术培训，双方约定了服务期，那么劳动者在服务期内辞职时，行政单位有权要求其支付违约金。但违约金数额不得超过行政单位提供的培训费用及服务期尚未履行部分所应分摊的费用。
- 同样，根据《劳动合同法》第二十三条，如果行政单位与劳动者在劳动合同中约定了竞业限制条款，并在劳动者离职后按月给予经济补偿，那么劳动者离职后违反竞业限制约定的，行政单位也有权要求其支付违约金。
二、非法收取违约金的情形
无法律依据或超越权限：
- 如果行政单位没有任何法律、法规的授权，就自行创设收取违约金的规定来管理相关事务，那么这种行为就属于滥用行政权力，侵犯了行政相对人的合法权益。
- 即使有一定法律授权，但如果行政单位在收取违约金时超出了法定的权限范围、标准等，那么这种行为也是违法的。
劳动合同中的无效约定：
- 如果行政单位与劳动者之间未就违约金进行约定，或者约定的情形不属于法定可以约定违约金的情形（如服务期、竞业限制等），那么行政单位要求劳动者支付违约金就缺乏法律依据，属于违法行为。
- 即使双方约定了违约金，但如果约定的违约金数额过高，远远超过了行政单位因劳动者辞职所遭受的实际损失，那么这种约定可能会被法院认定为不合理而无效。
三、总结与建议
综上所述，行政单位收取违约金的合法性并非一概而论，而是需要根据具体情况和法律法规来综合判断。对于行政单位而言，在行使收取违约金的权力时，必须确保有明确的法律授权或合法的约定，并且在法定的权限和程序范围内进行。对于劳动者或合同相对方而言，也应注意合同中的相关约定，避免不必要的法律纠纷。如果遇到行政单位非法收取违约金的情况，可以通过法律途径来维护自己的合法权益。