如果对方不收礼金并退回，且退回的金额少了100元，这通常涉及礼尚往来的社交礼仪问题，而非严格意义上的法律问题。不过，作为专业律师，我可以从法律角度和社交礼仪方面为您提供一些建议。

一. 法律角度分析

从法律角度来看，随礼行为通常被视为一种社交礼仪，而非法律义务。因此，如果对方退回礼金并出现金额不符的情况，这更多地是一个道德和社交礼仪的问题，而非法律问题。然而，如果双方事先有明确的约定或协议，且对方未按约定退回全部礼金，这可能构成违约行为，但这种情况在随礼的社交场合中较为罕见。

二. 社交礼仪方面

1. 沟通解决：首先，我建议您尝试与对方进行友好沟通，了解礼金退回金额不符的原因。可能是对方的误解或疏忽，通过沟通可以解决问题，并避免不必要的误会。

2. 尊重对方：如果对方坚持不退或少退，应尊重对方的决定。毕竟，随礼是一种自愿行为，对方有权决定是否接受。

3. 表达诚意：您可以向对方表达您的诚意和感谢，说明您对礼金的重视，并询问对方是否有其他方式可以表达您的心意。

4. 避免过度纠结：在社交礼仪方面，过于纠结礼金金额可能会损害双方的关系。因此，建议您以和为贵，不要因小失大。

三. 我的观点

我的观点是，在随礼这种社交场合中，应更加注重礼尚往来的精神和情感交流，而非礼金的多少。如果对方因误解或疏忽少退了礼金，通过沟通解决即可；如果对方坚持不退或少退，应尊重对方的决定，并避免过度纠结。

如有进一步需要，您可以继续咨询我。