python logging 最佳实践 - Python开发技术文章_教程

起因

我经常跟同事开玩笑,我说在一家公司里面,能把日志这个功能搞清楚的都没有几个。所以写篇文章把我知道的部分知识分享一下。
在我目前看到的日志的文档中,Python的官方的文章是最清晰明了 

这个流程图非常重要,希望朋友们能仔细看看。
这里写图片描述

1. 适用场景

1.1 一般场景

在一般情况下,我们最常用的的handler有两个:

RotatingFileHandler
按设定的文件大小切分日志 TimedRotatingFileHandler
按时间切分日志
以上2个handler都是线程安全的,可以用于多线程的场景,对于多进程则需要考虑其它方法

1.2 多进程

对于多进程的场景,python官方文档推荐我们使用

SocketHandler
使用TCP数据传输日志
可以参考我的文章 python 日志收集服务器 DatagramHandler
使用UDP数据传输日志

在单机上,即日志发送client 和 日志收集server 在同一台机器上,压测结果

type record/second
TCP 6000
TCP 9000

除此之外还可以考虑一下两种方法:
1. python-logstash
使用logstash,打开logstash的UDP或者TCP的服务端口直接接受数据,收到的数据可以入ElasticSearch 或者直接输出到文件中
2. 自定义新的handler 将日志记录存入redis 的某个队列中,再额外启动一个进程,从redis中把数据读出入到文件中

2. 日志的级别

Level Numeric value
CRITICAL 50
ERROR 40
WARNING 30
INFO 20
DEBUG 10
NOTSET 0

一般情况下日志文件只需要分成两个即可
1. all.log
存储 >= INFO 级别的日志
测试环境可以开到DEBUG 级别
可以跟踪业务流程等等
2. error.log
存储 >= ERROR 级别的日志
便于快速排查故障

一个常见的日志初始化模块可以这样书写
logger_helper.py

<code class="hljs" python="">import logging
from logging import Logger
from logging.handlers import TimedRotatingFileHandler
def init_logger(logger_name):
    if logger_name not in Logger.manager.loggerDict:
        logger = logging.getLogger(logger_name)
        logger.setLevel(logging.DEBUG)
        handler = TimedRotatingFileHandler('./all.log', when='midnight',backupCount=7)
        datefmt = %Y-%m-%d %H:%M:%S
        format_str = [%(asctime)s]: %(name)s %(levelname)s %(lineno)s %(message)s
        formatter = logging.Formatter(format_str, datefmt)
        handler.setFormatter(formatter)
        handler.setLevel(logging.INFO)
        logger.addHandler(handler)
        handler = TimedRotatingFileHandler('./error.log', when='midnight',backupCount=7)
        datefmt = %Y-%m-%d %H:%M:%S
        format_str = [%(asctime)s]: %(name)s %(levelname)s %(lineno)s %(message)s
        formatter = logging.Formatter(format_str, datefmt)
        handler.setFormatter(formatter)
        handler.setLevel(logging.ERROR)
        logger.addHandler(handler)
    logger = logging.getLogger(logger_name)
logger = init_logger(dataservice)
if __name__ == '__main__':
    logger = init_logger('dataservice')
    logger.warn(test-warn)</code>

只需要在其它模块中引入此模块的logger即可
model.py

<code class="hljs" python="">from logger_helper import logger
::...
免责声明:
当前网页内容, 由 大妈 ZoomQuiet 使用工具: ScrapBook :: Firefox Extension 从互联网中抓取并分享;
内容版权归原作者所有;
本人对内容的有效性/合法性不承担任何强制性责任.
若有不妥, 欢迎评注提醒:

蟒营®编程思维提高班 Python版/第11期 正在报名

精品小班/ 每期<42人


扫描报名: 101camp12py

蟒营®式 原创课程

伴你重享学习乐趣

官网: py.101.camp

Reactivate Joy by Self-teching with You


任何问题可先进入知识星球(免费)咨询:
FAQ

关注公众号, 持续获得相关各种咨询:
mainium


追问

任何问题, 随时邮件提问可也:
askdama@googlegroups.com


...::