人工智能模型从患者数据中学习 使癌症治疗毒性降低

麻省理工学院的研究人员正在采用新颖的机器学习技术，通过减少胶质母细胞瘤的毒性化疗和放疗剂量来改善患者的生活质量，胶质母细胞瘤是最具攻击性的脑癌形式。

胶质母细胞瘤是一种出现在脑或脊髓中的恶性肿瘤，成人预后不超过五年。患者必须忍受放射治疗和每月服用多种药物的组合。医疗专业人员通常施用最大安全药物剂量以尽可能地缩小肿瘤。但这些强效药物仍会对患者造成虚弱的副作用。

在下周于斯坦福大学举行的2018年机器学习医疗保健会议上发表的一篇论文中，麻省理工学院媒体实验室的研究人员详细介绍了一种可以使给药方案毒性降低但仍然有效的模型。该模型由“自学”机器学习技术提供支持，着眼于目前使用的治疗方案，并反复调整剂量。最终，它找到了一种最佳的治疗方案，其最低可能的剂量和剂量频率仍然可以将肿瘤大小降低到与传统方案相当的程度。

在50名患者的模拟试验中，机器学习模型设计了治疗周期，将效力降低到几乎所有剂量的四分之一或一半，同时保持相同的肿瘤缩小潜力。很多时候，它完全忽略了剂量，每年只安排两次管理而不是每月。

“我们保留了目标，我们必须通过减少肿瘤大小来帮助患者，但同时，我们希望确保生活质量 - 剂量毒性 - 不会导致压倒性疾病和有害的副作用，”媒体实验室的首席研究员Pratik Shah说，他负责监督这项研究。

该论文的第一作者是媒体实验室研究员Gregory Yauney。

研究人员的模型使用一种称为强化学习(RL)的技术，这是一种受行为心理学启发的方法，其中模型学会偏向某些导致期望结果的行为。

该技术包括人工智能“代理”，其在不可预测的复杂环境中完成“动作”以达到期望的“结果”。每当完成动作时，代理接收“奖励”或“惩罚”，取决于动作是否努力实现结果。然后，代理相应地调整其动作以实现该结果。

奖励和处罚基本上是正数和负数，比如+1或-1。它们的值因所采取的行动而异，通过成功的概率或结果的失败来计算，以及其他因素。代理人基本上试图基于奖励和惩罚值在数值上优化所有动作，以获得给定任务的最大结果分数。

这种方法用于训练计算机程序DeepMind，该计划在2016年成为击败游戏“Go”中世界上最好的人类玩家之一的头条新闻。它还用于训练无人驾驶汽车的动作，例如合并到交通或停车场，车辆会一遍又一遍地练习，调整路线，直到它正确。

研究人员采用RL模型进行胶质母细胞瘤治疗，使用替莫唑胺(TMZ)和丙卡巴肼，洛莫司汀和长春新碱(PVC)联合使用，治疗数周或数月。

该模型的代理人通过传统的管理方案进行梳理。这些方案基于临床使用数十年的方案，并基于动物试验和各种临床试验。肿瘤学家使用这些已建立的方案来预测基于体重给患者的剂量。

当该模型探索该方案时，在每个计划的给药间隔 - 例如，每月一次 - 它决定几种行为中的一种。它可以首先启动或停止剂量。如果它确实给药，则它决定是否需要整个剂量或仅一部分。在每次行动中，它都会采用另一种临床模型 - 通常用于预测肿瘤在治疗时的大小变化 - 以确定该动作是否缩小了平均肿瘤直径。如果是，模型将获得奖励。

然而，研究人员还必须确保该模型不仅能够确定剂量的最大数量和效力。因此，每当模型选择施用所有全剂量时，它都会受到惩罚，因此选择更少，更小的剂量。“如果我们想要做的就是减少平均肿瘤直径，让它采取任何想要的行动，就会不负责任地服用药物，”Shah说。“相反，我们说，'我们需要减少达到这一结果所需的有害行为。'”

这代表了一种“非正统的RL模型，在论文中首次描述，”Shah说，它衡量了行为(剂量)对结果(肿瘤减少)的潜在负面影响。传统的RL模型致力于单一结果，例如赢得游戏，并采取任何和所有最大化该结果的行动。另一方面，研究人员的模型，在每个动作，可以灵活地找到一个剂量，不一定只是最大限度地减少肿瘤，但在最大肿瘤减少和低毒性之间取得了完美的平衡。他补充说，这种技术具有各种医学和临床试验应用，其中必须调节治疗患者的行动以防止有害的副作用。

研究人员对50名模拟患者进行了模型训练，这些患者是从以前接受过传统治疗的胶质母细胞瘤患者的大型数据库中随机选择的。对于每位患者，该模型进行了大约20,000次试错测试。培训完成后，模型学习最佳方案的参数。当给予新患者时，该模型使用这些参数来基于研究人员提供的各种约束来制定新的方案。

然后，研究人员对50名新模拟患者进行了模型测试，并将结果与​​使用TMZ和PVC的传统方案进行了比较。当没有给予剂量惩罚时，该模型设计了几乎与人类专家相同的方案。然而，考虑到小剂量和大剂量给药，它大大减少了剂量的频率和效力，同时减少了肿瘤大小。

研究人员还设计了模型，以单独治疗每个患者，并在一个队列中，并取得了类似的结果(每个患者的医疗数据可供研究人员使用)。传统上，相同的给药方案适用于患者组，但肿瘤大小，病史，遗传谱和生物标志物的差异都可以改变患者的治疗方式。Shah说，在传统的临床试验设计和其他治疗过程中，这些变量不予考虑，往往导致对大量人群的治疗反应不佳。

“我们说[对模型]，'您是否必须为所有患者服用相同的剂量?它说，'不。我可以给这个人四分之一剂量，一半给这个人，也许我们可以跳过这个人的剂量。这是这项工作中最激动人心的部分，通过使用非正统的机器学习架构进行单人试验，我们能够产生基于精确医学的治疗，“Shah说。

J. Craig Venter研究所人类生物学教授兼主任Nicholas J. Schork说，该模型比传统的“眼球”给药剂量方法有了重大改进，可以观察患者的反应和相应的调整。临床试验设计专家。“[人类没有]深入认识到一台机器看着大量的数据，所以人类的过程是缓慢，乏味和不精确的，”他说。“在这里，你只是让计算机在数据中寻找模式，这需要人们永远筛选，并使用这些模式来找到最佳剂量。”

Schork补充说，这项工作可能对美国食品和药物管理局特别感兴趣，美国食品和药物管理局正在寻求利用数据和人工智能开发卫生技术的方法。他说，仍然需要建立法规，“但我不怀疑，在很短的时间内，FDA将弄清楚如何适当地审查这些[技术]，因此它们可以用于日常临床计划。”