这种情况可以通过以下方式来处理。

一是可以向单位领导反映情况通过领导来解决问题。

二是可以私下和这个同事说清楚诽谤是需要承担法律责任的，希望对方能够改正错误。

三是如果上述办法没有效果可以通过法律途径来解决。

1、如果你神经比较大条，可以无视别人眼光，那么可以不改；

2、如果你静下心来自己评判下继续这样亲密会有问题，那么就改；

3、如果你认为和他说话比你的形象更重要，那么就继续和他说话；

4、如果你觉得你和他的交往是必要的，那么就继续。