杂项

上周末和朋友一起去了乌兰察布，广袤的草原和火山，整个景色给人的感觉很空旷，让人很放松，工作久了出来转一转还不错。我们游玩的顺序是：乌兰哈达的 5 号火山 -> 2 号火山 -> Day2 -> 黄花谷，整个旅程中除了在路上花费了一些时间外，体验还是不错的。

在下面还有一些拍的视频。

视频，点击链接查看。

视频链接

最近在大数据平写 Hive SQL 跑离线作业，数据量大概在三千万，有一个离线任务每次执行都要两个小时以上，我感觉太慢了。为什么觉得慢？刨除实现 SQL 逻辑的时间，自测、冒烟测试、上线每次执行一次需要 2h，也就是修改一处 SQL 要经历 6 小时才能看到最终结果。根据我的经验判断不应该耗费这么长时间，于是想着看看能不能改善一下。我先让数据平台的同学帮忙看，由于他们忙没得到结果，于是自己动手优化了一下，优化后的结果还是比较让我吃惊的，因为我并没有使用很复杂高深的手段（主要是减少临时表、减少嵌套查询数），却得到了意向不到的效果。这使我产生许多想法和思考。

优化后的效果：时间减少 95%，内存减少 80%。

• 优化前：耗时 2h，内存占用 80G
• 优化后：耗时 6min，内存占用 16G

总结

1. 这次SQL优化并不复杂却带来了可观的性能收益，说明简单的理论基础和参数调整也能达到不错的性能，仅仅一点点变化性能就可能差一个数量级；

2. 熟悉理论基础和计算机原理，是写出高效的程序必要条件；

本文源自一个线上问题引起的思考。诚然多线程是有益的，但使用不当反而会造成系统吞吐能力下降，甚至发生死锁。在使用多线程时我们可能面临下列情况：

1. 当写的并发代码包含框架类的方法调用，总是可能存在线程安全问题，因为框架在不停升级，我们不能保证它一直线程安全的；
2. 线程配置不当会引起安全问题，例如：缓存队列溢出、瞬时任务增多导致线程池打满，我们的业务在不断变化，在一个新的上下文环境中，没有人能保证线程配置一直合理；
3. 多线程让编程更复杂（需要处理更多情况），例如：控制执行顺序、并发访问变量；
4. 在多线程中进行远程请求容易对下游服务（数据库服务或其他业务服务）造成压力；

通过以上，我们看到在项目中引入一种技术带来的额外风险，有时这种风险不是线性增长而是指数级别，因此从这些角度看应该谨慎使用多线程。好的实践是先寻找其他解决方案，最后再考虑使用多线程，把多线程当作性能扩展的最后一道防线。

如果不用多线程就不存在上述的问题，我们假设使用多线程背景下来总一些实践技巧。

最近发展区理论 是教育学上的一个概念，它把人理解事物的等级做了区分，使教育者可以使用这个理论评估学生和教学内容，以达到最优的教学效率。最近发展区理论具备一定的普适性，也可以用在日常沟通、会议、汇报、分享等场景中，作为评估用户的方法。

根据 “最近发展区” 理论，可以人把当前具备的知识划分为三个级别：知识舒适区、最近发展区、知识困难区。

• 知识舒适区：人已有的知识，理解应用这些知识自然且没有压力；
• 最近发展区：人可以根据已有的知识可能达到的知识，通常需要借助外力达到；
• 知识困难区：知识超过了人能理解的范围，理解应用这些知识困难。

如果把我们日常场景分成两类：沟通交流（会议、汇报）、分享教学（分享、讲课），那么：

• 在沟通交流的活动中，应该尽量在双方的知识舒适区进行交谈、讨论，避免出现知识困难区的词汇、概念；

• 在分享教学活动中，最应该关注的是受众群体的最近发展区，最近发展区的知识能有利地让受众成长和受到启发。知识的掌握是一个循序渐进的过程，知识的准备需要遵循这样的逻辑与原理，在准备时首先要找到受众群体的上限和下限（受众群体存在差异时要找重叠区），在组织材料时通常由下限逐渐延伸至上限。

今天上午和前端同学开周会，我捕获到了一个字眼 —— “数据优先级”，这让我想到了我工作中处理任务的优先级，如果把程序想象成一个具备独立思维的个体，它想更好的处理业务也是需要考虑这些的。

在工作中，同时处理多个工作有时让人头大，从一件事转向另一件事，脑海里必然要切换事情的上下文，有时话费的时间甚至比做这件事还多，这种情况对应到程序中自然是操作系统调度线程切换上下文的开销，我们不能忽略，程序也是。还有数据竞争、锁机制等，都能找到和生活中对应的，如果把我们现实中的最佳实践应用在程序肯定会提升程序设计能力。

本文不讨论是否选择 Rust，只做 Rust 介绍以及它最新动态的陈述，另外一些资料我会列在文末。

系统级开发语言一直是 C/C++ 的代名词，C 语言偏低层缺少类似 C++ 标准模版库这样的利器，虽然 C++ 开发效率高，但是复杂很难精通，而 Rust 语言同时兼顾了 C 和 C++，即有低层控制硬件的能力又有高级语言的语法特性，例如面向对象、范型等。

Rust 是一门静态语言，其源文件编译后可以不依赖 SDK 运行；Rust 具有安全的内存管理并且没有 GC，对于系统级别软件（文件系统、系统内核、驱动…）是不允许存在 Stop The World（俚语，暂停整个程序）的，对于内存管理的苦楚恐怕只有 C/C++ 程序员最清楚，常常引发问题的就是这块，Rust 以其独有的方法在编译前就解决了这块，相当于拥有了自动内存管理。

我们经常说要提升程序的性能，提升性能的方法有很多，评判的依据是某些指标朝着好的方向发展，站在服务端首先能想到的是 QPS、TPS、RT，前端页面最常见的指标是页面加载速度、首屏有限显示时间，同意数据库、中间件使用什么指标度量也有许多。

今年八月份，我们部门发布“禁止未经测试验证、不具备观测能力、未经灰度发布、不具备应急止损能力的服务进行上线变更”红线，目的是为了降低线上故障率，线上故障是个很玄乎的玩意，你觉得没问题这次稳了，啪说不定它就跳出来了，在公司里故障是与绩效挂钩的，出问题要有人担责。我曾经请教过一位大佬，他是做游戏开发的，我曾问他“您认为软件开发中最重要的技术能力是什么”，他答：“软件开发需要细心，不出问题比性能更重要”，大佬的话很实在。

灰度发布在大厂中是重要的功能组件，关乎软件的稳定性，作为一个开发我们如何去使用这个功能，或者怎么去实现简单的灰度功能呢，本文将尝试回答这些问题。

1、外文文献查找

• Google： https://ac.scmor.com/
• sci-hub： https://sci-hub.ren/ （从百度文库按关键词查找找到相对应文献 复制 doi 号去下载 下载格式为 pdf）
• semantic scholar： https://www.semanticscholar.org/
• dblp： https://dblp.uni-trier.de/db/
• ACM 数字图书馆： https://dl.acm.org/

2、国内文献查找

• 中国知网： https://www.cnki.net/
• 万方数据： http://www.wanfangdata.com.cn/index.html
• 维普网： http://www.cqvip.com/