程序员日志这么记，没人可以推锅给你
不知道你有没有经历过被日志支配的恐惧？我就经历过，以前在服务器上要找到一个请求经过所有链路的日志，并串联起来发现真的好难，而且有了日志还没用，最好还有有参数，有响应可以串联起来整个业务逻辑，最大程度进行场景复原，那段找日志的时光真是不堪回首，令人难忘...
快速了解缓存穿透与缓存雪崩
更多内容，欢迎关注公众号：全菜工程师小辉~ 缓存穿透 缓存系统，一般流程都是按照key去查询缓存，如果不存在对应的value，就去后端系统（例如：持久层数据库）查找。如果key对应的value是一定不存在的，并且对该key并发请求量很大，就会对后...
并发插入引发的死锁问题排查
一.业务背景 我们现在的业务是一款数据产品，有不少实时计算和爬取来的数据都汇总到大数据仓库、数据挖掘平台ODPS上。然后应用在读取这些数据时，这些数据会先导入到并发读能力更强，适合结构查询的上。数据端开发的同学在跑定时任务时, tps比较高，于是出...
运维系统数据库升级到MGR小结
今天对运维系统的做了下升级，从单点实例升级到了MGR跨机房集群。当然目前也是一个迭代的方案，后续的架构升级还需要持续的补充，算是一个开始吧。 首先运维系统建设也有一些日子了，已经支撑了不少线上的业务，所以从原来的测试版本逐步过渡到了一个正式的线上版...
Scrapy 爬虫完整案例-基础篇
1 Scrapy 爬虫完整案例-基础篇 1.1 Scrapy 爬虫案例一 Scrapy 爬虫案例：爬取腾讯网招聘信息 案例步骤： 第一步：创建项目。 在 dos下切换到目录 D:爬虫_scriptscrapy_project ...
面试你应该知道的 MySQL 锁
背景 数据库的锁是在多线程高并发的情况下用来保证数据稳定性和一致性的一种机制。 根据底层存储引擎的不同，锁的支持粒度和实现机制也不同。MyISAM 只支持表锁，InnoDB 支持行锁和表锁。目前 MySQL 默认的存储引擎是 InnoDB，这里主要...
MySQL Explain详解，添加索引sql优化
EXPLAIN语法（获取SELECT相关信息） EXPLAIN tbl_name 或： EXPLAIN [EXTENDED] SELECT select_options 当我们使用select查询时发现很慢,所有通过我们常常用...
Raid 0、Raid 1、Raid 5、Raid 10、热备盘配置步骤详解
一. Raid 0 的配置 1.当发现如下界面时，按Ctrl+R进入raid配置界面 2.清空配置或没有raid信息的情况下，磁盘应为如下状态 3.此时选中页面的第一行或者第二行，按F2键，弹出命令行 &nbs...
入门AE：影视特效中的黑洞是怎么做的？附带教程
效果图 我们在看电影的时候，有很多科幻电影都有黑洞，那黑洞是怎么制作的呢？当然也是用AE，但是肯定比我们现在要复杂的多，也更加的精细，我们现在学习的只是方法（每天5分钟，充实一整天） 教程 1、 首先打开我们的AE...
如何对数据库中慢SQL进行快速定位？
定位数据库慢查询SQL有多种方式，根据具体使用的数据库种类和实力来定： 一、使用APM产品 APM全程为lication Performance Management，软硬件解决方案都有，如果经济实力不错，直接买大厂商的APM产品最为省时省力，而...
帮你精通Linux：Find命令高阶操作4项动作
前文中，我们详细阐述了中最复杂的Find命令的基础查询之八列属性： 八列属性 本文将继续探讨其高级查询功能，将分为四个方面展开讨论： 预定义动作 Predefined-Actions 自定义动作 User-defined Action...
移动WebApp高性能解决方案——MIP
介绍 MIP（Mobile Instant Pages - 移动网页加速器），是一套应用于移动网页的开放性技术标准。通过提供 MIP- 规范、MIP-JS 运行环境以及 MIP-Cache 页面缓存系统，实现移动网页加速。 &...
「MySQL笔记」left join-on-and 与 left join-on-where 的区别
1. 摘要 关于这两种写法的重要知识点摘要如下： left-join 时，即使有相同的查询条件，二者的查询结果集也不同，原因是优先级导致的，on 的优先级比 where 高 on-and 是进行韦恩运算连接生成临时表时使...
PMM:最佳的开源数据库监视解决方案
Percona Monitoring and Management是一个用于管理和监视、MongoDB、PostgreSQL和MariaDB性能的开源平台，我们可以在自己的环境中运行该插件，以实现最大的安全性和可靠性。它为数据库服务器提供了基于时间的...
一文弄清Python网络爬虫解析库！内含多个实例讲解
在了解爬虫基础、请求库和正则匹配库以及一个具体豆瓣电影爬虫实例之后，可能大家还对超长的正则表达式记忆犹新，设想如果想要匹配的条目更加多那表达式长度将会更加恐怖，这显然不是我们想要的，因此本文介绍的解析库可以帮助我们更加轻松地提取到特定信息。...
Mysql建立、删除索引及使用
一.索引的作用 一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，遇到最多的，也是最容易出问题的，还是一些复杂的查询操作，所以查询语句的优化显然是重中之重。 在数据量和访问量不大的情况下，访问是非常快的，是否加...
Linux安装部署Apache（杰哥教你Linux）
1. HTTP Server 地址：http://httpd.apache.org/download.cgi#apache24 2. APR 和 APR-Util 地址：http://apr.apache.org/download.cgi 3...
开源：API文档汇总管理工具Swagger Butler
Swagger Butler是一个基于Swagger与Zuul构建的API文档汇集工具。通过构建一个简单的Spring Boot应用，增加一些配置就能将现有整合了Swagger的Web应用的API文档都汇总到一起，方便查看与测试。 项目地址...
linux最好用的6个系统克隆命令工具
1. 前言 磁盘克隆是将一个（或分区）的内容复制到另一个磁盘或“映像”文件的过程。我使用rsnapshot工具定期备份，但我也每月克隆一次或两次硬盘。此工具允许我快速恢复操作系统和安装的软件。 附带了各种用于执行磁盘克隆的实用程序。在这篇文章中，我...
Nginx配置详解
配置详解 Nginx的配置是在nginx.conf中进行配置的 主要由三部分组成 全局块 events块 http块 全局块 从配置文件开始到events块之间的内容是全局块，主要用来配置Nginx服务器整...
SEO负面因素有哪些？
2021年最新的排名因素我们之前已经提到了：域名，站内，内容及服务器，反向链接，用户互动，算法规则，企业品牌。那么还有哪些因素会影响排名呢？下面我们来看看响排名的负面因素。 1.内容质量低劣：受到熊猫刑罚打击后，内容质量低劣的网站（尤其是内容农...
python 手把手教你基于搜索引擎实现文章查重
前言 文章抄袭在互联网中普遍存在，很多博主都收受其烦。近几年随着互联网的发展，抄袭等不道德行为在互联网上愈演愈烈，甚至复制、黏贴后发布标原创屡见不鲜，部分抄袭后的文章甚至标记了一些联系方式从而使读者获取源码等资料。这种恶劣的行为使人愤慨。 本文使...
缓存算法FIFO、LFU、LRU
0x01：FIFO算法 FIFO（First in First out），先进先出。其实在操作系统的理念中很多地方都利用到了先进先出的思想，比如作业调度（先来先服务），为什么这个原则在很多地方都会用到呢？因为这个原则简单、且符合人们的惯性思维，...
Python开发者的最强工具PyCharm发布2021最新版
今天JetBrains正式发布了/ target=_blank class=infotextkey>Python开发工具PyCharm 2021.1最新版。 码农老杨第一时间安装体验，新增的CodeWithMe可以和好基友边撸代码边视频了。W...
人工智能的三个必要条件
市场的量化密码系列文章（10） 的必要条件：深度学习模型，大数据，算力 作者：Michael Zhang 麦教授 2016年，AlphaGo下围棋战胜李世乭，大家都认为人工智能的时代到来了。人工智能也是同样的在一定的历史契机下，...
重置系统密码之Linux篇
在工作中经常会碰一些同事没做好记录，时间久了就忘记自己服务器的管理员密码或者一些同事离职没做好交接导致后来的同事不知道系统管理员密码的情况。所以今天就说说如果碰到这些情况我们该怎么重置原root密码。 本篇我们主要针对三个版本进行root密码的重置...
PHP“垂死”十年
对于一门古老的语言来说，支撑未来技术的东西不是与时俱进吗？ 差不多一年前，我发布了一篇题为“可能在未来十年消失”的文章。我发布的这篇文章的总结就像一首《圣诞颂歌》，但不是 Ebenezer Scrooge（电影《圣诞颂歌》中的一个商...
网络协议私人订制的DNS服务：需要HTTPDNS 吗？
全球统一的 是很权威，但是我们都知道“适合自己的，才是最好的”。很多时候，标准统一化的 DNS 并不能满足我们定制的需求，这个时候就需要 HTTPDNS 了。 然而，我们信任的地址簿也会存在指错路的情况。明明离你 500 米就有个吃饭的地方，非要把...
Nginx 实现静态资源
前言作为一款高性能的服务器，用途非常多，除了可以做后端服务器的代理，负载均衡之外，还有一个用途就是做静态资源的缓存服务器，比如在前后端分离的项目中，为了加速前端页面的响应速度，我们可以将前端的相关资源，例如，js,或者图片等放到nginx指定的目录下...
阿里云服务器是如何实现每台服务器都是公网IP的呢？
利用公有云（比如阿里云、腾讯云、云等）部署了应用之后，为了访问申请的云服务器，需要使用公网IP，公有云服务商不仅提供了固定的公网IP，更多采用的是弹性公网IP。 弹性公网IP的基础是：NAT NAT即网络地址转换技术，是实...
