Попробуйте растительное молоко
https://hi-food.ru/rastitelnoe-moloko/ вместо обычного. Оно по калорийности намного ниже коровьего, раз в пять точно. Сейчас купить кофе на растительном молоке не проблема, даже в маленьких кофейнях стали его предлагать. Ну или вписывайте в свое меню, сократив, например, до чашки в день. Нормальная диета допускает 20% подобное еды без ущерба для здоровья.