1.經常接觸鉛的人：牛奶中的乳糖可促使鉛在人體內吸收積蓄，容易引起鉛中毒，因此，經常接觸鉛的人不宜飲用牛奶，可以改飲酸牛奶，因為酸牛奶中乳糖極少，多已變成了乳酸。
2.乳糖不耐者：有些人的體內嚴重缺乏乳糖酶，因而使攝入人體內的牛奶中的乳糖無法轉化為半乳糖和葡萄糖供小腸吸收利用，而是直接進入大腸，使腸腔滲透壓升高，使大腸粘膜吸入大量水分，此外，乳糖在腸內經細菌發酵可產生乳酸，使腸道PH值下降到6以下，從而刺激大腸，造成腹脹、腹痛、排氣和腹瀉等癥狀。(90%的華人有乳糖不耐癥)
3.牛奶過敏者：有人喝牛奶后會出現腹痛、腹瀉等癥狀，個別嚴重過敏的人，甚至會出現鼻炎、哮喘或蕁麻疹等。
4.返流性食管炎患者：牛奶有降低下食管括約肌壓力的作用，從而增加胃液或腸液的返流，加重食管炎。
5.腹腔和胃切除手術后的患者：病人體內的乳酸酶會受到影響而減少，飲奶后，乳糖不能分解就會在體內發酵，產生水、乳酸及大量二氧化碳，使病人腹脹。腹腔手術時，腸管長時間暴露于空氣中，腸系膜被牽拉，使術后腸蠕動的恢復延遲，腸腔內因吞咽或發酵而產生的氣體不能及時排出，會加重腹脹，可發生腹痛、腹內壓力增加，甚至發生縫合處脹裂，腹壁刀口裂開。胃切除手術后，由于手術后殘留下來的胃囊很小，含乳糖的牛奶會迅速地涌入小腸，使原來已不足或缺乏的乳糖酶，更加不足或缺乏。
6.腸道易激綜合癥患者：這是一種常見的腸道功能性疾病，特點是腸道肌肉運動功能和腸道粘膜分泌粘液對刺激的生理反應失常，而無任何腸道結構上的病損，癥狀主要與精神因素、食物過敏有關，其中包括對牛奶及其制品的過敏。
7.缺鐵性貧血、乳糖酸缺乏癥、膽囊炎、胰腺炎患者:不宜飲用;脾胃虛寒作瀉、痰濕積飲者慎服。
8.乳糖不耐癥人群:服用要控制好用量，一般200毫升之內沒問題，但個別只能喝很少的牛奶甚至完全不能喝牛奶，否則引起胃脹和腹瀉。
9.結石患者:請遵醫囑，不能自己亂喝牛奶。
10、老年人不宜過多喝牛奶:牛奶以其營養豐富、含鈣量高、機體吸收利用率高等有點被全世界公認為重要的補鈣食物來源。多年來，不少老年人選擇多喝牛奶來補充鈣質。
雖然說牛奶是補鈣的良好來源，但是對于老年人來說，過多地飲用牛奶補鈣得不償失，因為牛奶能促進老年白內障的發生。其原因是牛奶含有5%的乳糖，極易沉積在老年人的眼睛晶狀體，并影響其正常代謝，而且蛋白質易發生變性，導致晶狀體透明度降低，而誘發老年性白內障的發生，或者加重其病情。
