张弛有度顺其自然

摘要：最近人们谈论起AI时，往往会提到高等教育甚至高中文理分科，其中的文科专业或文科班，或者招生人数缩减了，或者选择的人少了。但我们往往忘了，让我们的科技创新从无到有的哪个火花，往往是我文学或艺术擦出来的。而且，有的理念、方法，使用的多了、久了，各种具体变种会百花齐

有时我们走得太远太久，往往忘记了我们为什么出发以及原来的目的地！

完美就是遇到优秀的敌人——伏尔泰。

最近人们谈论起AI时，往往会提到高等教育甚至高中文理分科，其中的文科专业或文科班，或者招生人数缩减了，或者选择的人少了。但我们往往忘了，让我们的科技创新从无到有的哪个火花，往往是我文学或艺术擦出来的。而且，有的理念、方法，使用的多了、久了，各种具体变种会百花齐放，而不去关心最初的动因。这里咱们就说说松弛(Relaxation). 松弛方法或形式，在许多学科领域都有应用，但很少有讲清楚什么是松弛，其基本理念是什么的。

虽然Shawb的书是从数学引入松弛的。今天在计算机科学中，遇到最多的松弛形式之一是约束松弛。其基本出发点启示很简单，就是把条件放宽。比如：有时我们做选择时，总是考虑太多，那松弛就是，加入你可以不考虑成本、价格、竞争等，你如何做选择，就是一种松弛。再如：如果你不害怕，你会怎样做？把害怕的约束松弛掉了。如果所有工作的收入都一样，你如何选择工作？把收入约束松弛掉了。这种思考问题的思想背后，就是松弛约束的过程：为了使得棘手的问题具有伸缩性，面对一个不能解决或很难解决的问题，就去解决一个简单点的问题，如果不行，就考虑再简单一些的问题，直到简化为一个可以解决或有方法可以应对的成熟问题。松弛不是直接提供完美的答案，但可以通过提供一个思路、指出一个方向。然后再把去掉的条件一点点加回去，从而找到一个近似或可以接受的答案。

还有一种就是离散优化。即：解决方案中没有平滑的连续统一体，比如分块排序中，分多少块最优的问题。这时可以把离散问题松弛成连续问题，进而可以用微积分进行求解，再从接近答案的整数中进行选择。

当然，还有一种松弛就是拉格朗日松弛算法。其背后的理念很简单——把优化问题分为两个部分，规则和计分，比如规则是不能越界，拉格朗日松弛算法的思路是，对规则进行修改，把越界看成是连续的违反规则，但代价高昂，或者说得分急剧降低。这样原来不能越界的问题就可以越界处理了，只不过是越界多少的问题。其实就是软化约束，或者说是让不可能的事情降级为惩罚，这样可以使得许多需要分类讨论的问题可以作为一种问题进行解决。例如Linux系统中，用户的磁盘配额的软配额，是可以超越的，但代价高昂，比如不停的收到系统的通知警告，直到用户用量小于配额。

当今，AI的许多问题都可以归结为优化问题，比如把逻辑回归转为线性回归，这样就不是二选一了。例如：你只喝酸奶或者纯净水时，不是不可以考虑50：50的混合？不行的化，99：1呢？99.999：0.001呢？而拉格朗日松弛则是打破规则，接受后果。背包问题、托运行李问题，超过规定，付高得多的费用。

不犯错误是神，人都会犯错误，所以人发明了松弛方法！