物业有责任不让往门上乱贴。

从法律角度来看，物业公司作为小区的管理方，有责任维护小区的公共秩序和环境卫生。往门上乱贴小广告、传单等行为，不仅影响了小区的美观和整洁，还可能侵犯业主的合法权益，如侵犯隐私、造成安全隐患等。

具体来说，根据《物业管理条例》以及相关的物业服务合同，物业公司通常负有以下职责：

1. 维护公共秩序：物业公司应当采取措施，防止小区内出现乱贴乱画、乱设摊点等行为，确保小区的公共秩序良好。
2. 保持环境卫生：物业公司应当负责小区的清洁卫生工作，及时清理垃圾和杂物，包括门上被乱贴的小广告等。

因此，如果业主发现有人往门上乱贴，可以向物业公司反映情况，要求物业公司采取措施予以制止和清理。物业公司应当积极响应业主的诉求，及时履行职责，确保小区的环境整洁和秩序良好。

综上所述，物业有责任不让往门上乱贴，这是其作为小区管理方应尽的职责。如果物业公司未能履行好这一职责，业主可以向相关部门投诉或寻求法律途径维护自己的合法权益。