作者：Evelyn Yao 清华大学本科在读
编者按
在“Operations Research近期论文精选”中，我们有主题、有针对性地选择了Operations Research中一些有趣的文章，不仅对文章的内容进行了概括与点评，而且也对文章的结构进行了梳理，旨在激发广大读者的阅读兴趣与探索热情。在本期“论文精选”中，我们以“医疗系统的优化”为主题，分别探究了数据驱动的优化问题、病人主动转入重症监护室的问题和在分诊时采用入院预测来改进病人在急诊科的停留时间的问题，涉及机器学习、马尔可夫决策过程、排队论等诸多知识。
推荐文章1
发表时间：2022.11.1
● 题目：Debiasing In-Sample Policy Performance for Small-Data, Large-Scale Optimization
小数据、大规模优化（优化问题中不确定参数的数量很大，但是每个参数的相关数据量很少）的样本内政策绩效去偏移
● 期刊：Operations Research
● 原文链接：https://doi.org/10.1287/opre.2022.2377
● 作者：Vishal Gupta, Michael Huang, Paat Rusmevichientong
● 关键词：small-data, large-scale（小数据大规模） • data-driven optimization（数据驱动的优化） • large-scale regime（大规模制度） • cross-validation（交叉验证） • end-to-end optimization（端到端优化）
● 摘要：Motivated by the poor performance of cross-validation in settings where data are scarce, we propose a novel estimator of the out-of-sample performance of a policy in data-driven optimization. Our approach exploits the optimization problem’s sensitivity analysis to estimate the gradient of the optimal objective value with respect to the amount of noise in the data and uses the estimated gradient to debias the policy’s in-sample performance. Unlike cross-validation techniques, our approach avoids sacrificing data for a test set and uses all data when training and hence is well suited to settings where data are scarce. We prove bounds on the bias and variance of our estimator for optimization problems with uncertain linear objectives but known, potentially nonconvex, feasible regions. For more specialized optimization problems where the feasible region is “weakly coupled” in a certain sense, we prove stronger results. Specifically, we provide explicit highprobability bounds on the error of our estimator that hold uniformly over a policy class and depends on the problem’s dimension and policy class’s complexity. Our bounds show that under mild conditions, the error of our estimator vanishes as the dimension of the optimization problem grows, even if the amount of available data remains small and constant. Said differently, we prove our estimator performs well in the small-data, large-scale regime. Finally, we numerically compare our proposed method to state-of-the-art approaches through a case-study on dispatching emergency medical response services using real data. Our method provides more accurate estimates of out-of-sample performance and learns better-performing policies.
由于交叉验证的方法在数据缺失的情况下表现不佳，在数据驱动优化中我们提出了一种新的方法来估计样本外的性能。我们的方法是利用优化问题中的灵敏度分析方法来估计最佳目标值相对于数据中噪声的梯度，并使用估计的梯度来去掉策略样本内性能的偏差。和交叉验证法不同，我们的方法不会牺牲测试集中的数据，而且我们可以在训练时使用所有的数据，因此我们的方法在数据稀缺的环境中是十分合适的。我们证明了我们的估计器对于一类优化问题（有不确定线性目标值但是已知可能不凸的可行区域的优化问题）的偏差和方差是有极限的，对于可行域某种意义上是弱耦合的更专门的优化问题，我们得到并证明了更好的结果。具体来说，我们对估计器的误差提供了明确的高概率界限，这个界限在一类策略中都是均匀不变的，而且取决与问题的维度和策略的复杂性。我们得出的这一边界表明，在条件温和的情况下，即使在可用数据量很小很稳定的情况下，估计器的误差会随着优化问题维度的增加而逐渐减少直至消失。换句话说，我们证明了我们的估计器在小数据大规模的情况下表现良好。最后我们通过一个使用真实数据的紧急医疗响应服务调度的案例研究，将我们提出的方法与最先进的方法进行了数值比较。我们的方法提供了更准确的样本外性能估计，而且在策略学习上也有更好的表现。
●文章结构：
●点评：
虽然表面上看，本文与我们本期讨论的主题“医疗系统中的优化”关系不大，而是更多的涉及数据科学相关的内容，但本文所展现的应用场景十分广泛，文中最后的实例分析也是以紧急医疗服务调度作为案例来研究的。面对优化问题中不确定参数的数量很大，但是每个参数的相关数据量很少的情况，为了增加结果的准确性，本文的作者研究出了一种新的方法，并证明他可以更好的处理小数据大规模的情况。正如文章结尾作者提到的那样，他们利用基础优化问题的可解构性解决弱耦合问题，这样的工作也对未来的研究提供了许多令人兴奋的方向。
推荐文章2
发表时间：2022.11.22
● 题目：Robustness of Proactive Intensive Care Unit Transfer Policies
主动转移到重症监护室政策的稳健性
● 期刊：Operations Research
● 原文链接：https://doi.org/10.1287/opre.2022.2403
● 作者：Julien Grand-Cle´ment, Carri W. Chan, Vineet Goyal, Gabriel Escobar
● 关键词：intensive care units（重症监护室） • Markov models（马尔可夫模型） • robust optimization（鲁棒优化） • threshold policies（阈值策略）
● 摘要：
Patients whose transfer to the intensive care unit (ICU) is unplanned are prone to higher mortality rates and longer length of stay. Recent advances in machine learning to predict patient deterioration have introduced the possibility of proactive transfer from the ward to the ICU. In this work, we study the problem of finding robust patient transfer policies that account for the important problem of uncertainty in statistical estimates because of data limitations when optimizing to improve overall patient care. We propose a Markov decision process model to capture the evolution of patient health, where the states represent a measure of patient severity. Under fairly general assumptions, we show that an optimal transfer policy has a threshold structure (i.e., that it transfers all patients above a certain severity level to the ICU (subject to available capacity)). As model parameters are typically determined based on statistical estimations from real-world data, they are inherently subject to misspecification and estimation errors. This is an important issue, which can lead to choosing significantly suboptimal policies. We account for this parameter uncertainty by deriving a robust policy that optimizes the worst-case reward across all plausible values of the model parameters. We are able to show that the robust policy also has a threshold structure under fairly general assumptions and that it is more aggressive in transferring patients than the optimal nominal policy, which does not take into account parameter uncertainty. We present computational experiments using a data set of hospitalizations at 21 Kaiser Permanente Northern California hospitals and present empirical evidence of the sensitivity of various hospital metrics (mortality, length of stay, and average ICU occupancy) to small changes in the parameters. Although threshold policies are a simplification of the actual complex sequence of decisions leading (or not) to a transfer to the ICU, our work provides useful insights into the impact of parameter uncertainty on deriving simple policies for proactive ICU transfer that have strong empirical performance and theoretical guarantees.
非计划转入重症监护室（ICU）的病人容易出现更高的死亡率和更长的住院时间（相比于主动转入的病人而言）。机器学习在预测病人病情恶化方面的最新进展，为病人主动从普通病房转移到ICU提供了可能。在这项工作中，我们研究了寻找稳健的病人转移政策这一问题，该政策考虑到了在优化改善整体病人护理时因数据限制而导致的统计估计不确定性这一重要问题。为了捕捉病人健康情况的演变过程，我们提出了一个马尔可夫决策过程模型，模型中的状态代表了病人病情严重程度的衡量标准。在相当普遍的假设下，我们表明最优的转院政策有一个阈值结构（即这个策略将所有病情超过某一严重程度的病人转到ICU）。由于模型参数通常是基于真实世界数据的统计估计来确定的，因此他们通常会受到错误设定和估计误差的影响。这是一个很重要的问题，他可能导致决策者选择明显没那么优化的策略。为了解释这种参数的不确定性，我们推导出一个稳健的政策，在模型中的所有参数在合理值的情况下，该政策可以优化最坏情况下的结果。我们能够证明，在相当普遍的假设下，（上文推出的）稳健的政策也有一个阈值结构，他在转移病人方面比不考虑参数不确定性的政策更积极。我们使用北加州Kaiser医疗中心21家医院的住院数据集进行了计算实验，并展示了各种医院指标（死亡率、住院时间和平均ICU占用率）对参数微小变化的敏感性的经验证据。虽然阈值策略只是对导致（不导致）转入ICU的实际复杂决策序列的模拟，但是我们的工作对参数不确定性影响下主动转入ICU的政策提供了有益的见解，这些政策有很强的实验表现和理论保证。
●文章结构：
● 点评：
随着机器学习技术的不断发展，人们在预测病人病情方面的能力也有所提升，因此本文致力于通过对病人病情的预测推算出他们转入ICU治疗的最优策略，以提高病人重大疾病的存活率，减少住院时间，达到更好的治疗效果。这篇文章中提出了两种策略，分别是使用单一病人的马尔可夫决策模型得出的主动转移策略和考虑参数不确定性时的稳健性策略，在此之后他们使用了Kaiser医疗机构的21家医院30万病人的医疗数据进行数值实验，比较了两种政策的不同性能，为解决“主动转入ICU以实现病人的更好治疗”这一问题提供了优化的解决方案与策略，在如今的大背景下，这样的研究十分具有现实意义，也值得我们去学习和效仿。
推荐文章3
发表时间：2022.10.26
● 题目：Using Hospital Admission Predictions at Triage for Improving Patient Length of Stay in Emergency Departments
在分诊时采用入院预测来改进病人在急诊科的停留时间
● 期刊：Operations Research
● 原文链接：https://doi.org/10.1287/opre.2022.2405
● 作者：Wanyi Chen, Nilay Tanik Argon, Tommy Bohrmann, Benjamin Linthicum, Kenneth Lopiano, Abhishek Mehrotra, Debbie Travers, Serhan Ziya
● 关键词：patient flow（病人流量） • healthcare operations（医疗运营管理） • queueing（排队论） • Markov decision processes（马尔可夫决策过程）
● 摘要：Long boarding times have long been recognized as one of the main reasons behind emergency department (ED) crowding. One of the suggestions made in the literature to reduce boarding times was to predict, at the time of triage, whether a patient will eventually be admitted to the hospital and if the prediction turns out to be “admit,” start preparations for the patient’s transfer to the main hospital early in the ED visit. However, there has been no systematic effort in developing a method to help determine whether an estimate for the probability of admit would be considered high enough to request a bed early, whether this determination should depend on ED census, and what the potential benefits of adopting such a policy would be. This paper aims to help fill this gap. The methodology we propose estimates hospital admission probabilities using standard logistic regression techniques. To determine whether a given probability of admission is high enough to qualify a bed request early, we develop and analyze two mathematical decision models. Both models are simplified representations and thus, do not lead to directly implementable policies. However, building on the solutions to these simple models, we propose two policies that can be used in practice. Then, using data from an academic hospital ED in the southeastern United States, we develop a simulation model, investigate the potential benefits of adopting the two policies, and compare their performances with that under a simple benchmark policy. We find that both policies can bring modest to substantial benefits, with the state-dependent policy outperforming the state-independent one, particularly under conditions when the ED experiences more than usual levels of patient demand.
长期以来，人们意识到“办理住院手续”时间长是造成急诊科（ED）拥挤的主要原因之一。以前文献中提出，在分诊时预测病人是否最终会被医院收治，是减少“办理住院手续”时间的建议之一，如果预测结果是“收治”，那么在急诊室就诊的早期开始准备将病人转到住院部。然而，目前还没有开发出一个系统化的方法来帮助我们确定对入院概率的估计是否会被认为高到足以提前申请床位，这种决定是否应该取决于急诊科的病人数目，以及采用这一政策的潜在好处是什么。本文旨在帮助填补这一空白。我们提出的方法是使用逻辑回归估计医院的入院概率。为了确定一个给定的入院概率是否高到足以提前通过床位申请，我们开发并分析了两个数学决策模型，这两个模型都是简化的表述。所以无法从模型中推出直接可实施的政策。然而在这些简单模型的基础上，我们提出了两个可以应用到实践中的策略。在此之后，我们使用美国东南部一家医院的急诊室数据，建立了一个模拟模型，探究了采用这两种策略的潜在好处，并且将采用这两种新政策的表现与（前文提到的）简单政策的表现进行比较。我们发现，这两种政策都能带来许多好处，特别是在急诊室的病人比平常更多的情况下，依赖状态的政策比独立状态的政策更有优势。
● 文章结构：
● 点评：
在医院长期的运营过程中，改善急诊科和医院的病人流量，进而减少病人的等待时间，其重要性是显而易见的。针对这一问题，作者提出一个想法，即在分诊时立即为那些“从急诊科出来很大可能会被收治入院的”病人申请床位，而不等待病人的最终诊断结果（BeRT），如果在BeRT时有病床可供病人使用，则立即对病人进行TPP；否则，病人的请求会被保留在队列中，直到有病床可供使用再启动TPP。这样的做法有好处也有坏处，好处就是分诊时申请床位的病人一旦入院，那么他在急诊室的时间会缩短很多；坏处就是万一这样收治预测的结果错误，对医院的资源就没有得到有效的利用。虽然这样策略的提出可能会暂时出现细微的错误或者招致医务工作人员的反对，但是这样的研究有助于激发新的想法，改进的潜力也是巨大的。