分享好友 看资讯首页 频道列表
facebook利用人工智能调整网络服务器性能
2024-05-14 09:01    6503 来源:网络

机器学习近年来已被用于调整机器学习本身的性能,那么为什么不用机器学习来提高网络服务器的性能呢?

facebook的研究人员就是这样做的,他们周一发表了有关用机器学习调整运行在社交网络服务器基础设施上的服务器设置的文章。

benjamin letham、brian karrer、guilherme ottoni和eytan bakshy的文章发表在_bayesian analysis_期刊上,作者还在facebook的人工智能研究博客上发了博文。

facebook与所有互联网服务一样也运行所谓的a/ b测试,目的是评估服务器在各个变量发生变化时的运行情况。有些人调整过不同版本的网页,例如改变按钮的外观或文本的布局,他们就知道,调整(例如在一个商业网站上的调整)可以优化诸如点击率或购物车使用之类的东西。

facebook的科学家在这项研究中研究了实时生产系统(jit:just- in-time)编译器选项的改变对性能的影响,编译器将python转换为facebook用于提供http请求的开源web服务器内的本机x86服务器代码,即“hiphop虚拟机”。

例如,可以将jit设置为执行给定代码块的内嵌之类的操作。这样的调整会令代码更大些,因此需要进行a / b测试,原因是更大的代码会消耗更多的服务器内存,因而有必要确定是否值得这样做。

文章的作者用了名为“贝叶斯分析”的方法,贝叶斯分析是一种机器学习算法,基本思想是强调使用过去或先前的信息来确定最佳解决方案。贝叶斯分析在过去十年里被广泛用来优化“超参数”机器学习,例如用来确定批量的大小或学习速度参数的大小。由于贝叶斯优化可以代替人手做超参数设计的苦差事,有人将用了贝叶斯优化的机器学习称为“自动化”机器学习。

文章的作者在使用jit编译器的设置运行a / b测试时在各种不同的地方用了贝叶斯。这样做最大的好处是速度。由于必须在生产环境中进行测试以观察不同设置的影响,因此希望能够快速完成测试,以便将更改进一步用于网络服务器。

作者在文章里表示,典型的a / b测试是在每一次只测试一个配置的改变,而贝叶斯优化则“允许我们用更少的测试共同调整更多的参数并找到更好的值。”

这里的关键是“共同”这个词:贝叶斯机制可以从给定的a / b测试推断出其他参数,以缩小“可行的“配置,因而无需进行相应的实际a / b测试就能排除某些配置选择。作者用了广泛搜索能力的字眼,称“连续空间里参数值的测试不仅为我们提供了关于这些参数结果的信息,而且还提供了关于附近点的信息。” 贝叶斯模型可以从前期测试结果中获得了新的经验数据,这些经验数据又可以用于进一步缩小搜索潜在最优配置的范围,因此整个a / b测试逐步地就越来越高效了。

facebook这项贝叶斯优化研究的新贡献是处理噪声。作者指出,在a / b实验中测试服务器设置与优化机器学习网络不同,这时的测试结果和测量均存在很多噪音,在现实世界中,设置的变化对服务器性能的影响可以是各种各样的,而且还存在“噪声”约束,例如服务器内存的使用需要在合理的范围之内。文章的作者提出了在贝叶斯算法中解决这种噪声的方法,他们得出的结论是,用新方法比用其他类型的贝叶斯方法更容易得到最优解。

来源:网络

以上是网络信息转载,信息真实性自行斟酌。

版权/免责声明:
一、本文图片及内容来自网络,不代表本站的观点和立场,如涉及各类版权问题请联系及时删除。
二、凡注明稿件来源的内容均为转载稿或由企业用户注册发布,本网转载出于传递更多信息的目的;如转载稿涉及版权问题,请作者联系我们,同时对于用户评论等信息,本网并不意味着赞同其观点或证实其内容的真实性。
三、转载本站原创文章请注明来源:中华厨具网

免责声明:

本站所有页面所展现的企业/商品/服务内容、商标、费用、流程、详情等信息内容均由免费注册用户自行发布或由企业经营者自行提供,可能存在所发布的信息并未获得企业所有人授权、或信息不准确、不完整的情况;本网站仅为免费注册用户提供信息发布渠道,虽严格审核把关,但无法完全排除差错或疏漏,因此,本网站不对其发布信息的真实性、准确性和合法性负责。 本网站郑重声明:对网站展现内容(信息的真实性、准确性、合法性)不承担任何法律责任。

温馨提醒:中华厨具网提醒您部分企业可能不开放加盟/投资开店,请您在加盟/投资前直接与该企业核实、确认,并以企业最终确认的为准。对于您从本网站或本网站的任何有关服务所获得的资讯、内容或广告,以及您接受或信赖任何信息所产生之风险,本网站不承担任何责任,您应自行审核风险并谨防受骗。

中华厨具网对任何使用或提供本网站信息的商业活动及其风险不承担任何责任。

中华厨具网存在海量企业及店铺入驻,本网站虽严格审核把关,但无法完全排除差错或疏漏。如您发现页面有任何违法/侵权、错误信息或任何其他问题,请立即向中华厨具网举报并提供有效线索,我们将根据提供举报证据的材料及时处理或移除侵权或违法信息。