黑龙江农信：兼容国产资源日志管控分析平台
来源：2022年第六届农村中小金融机构科技创新优秀案例评选
获奖单位：黑龙江农信
荣获奖项：运维管理创新优秀案例
一、项目背景、目标及相关规划
1.项目背景
黑龙江农信IT运维经过多年的建设已经建立起完善的运维体系，但随着大数据时代到来，以及国家对网络安全等级保护的管理要求的提高，迫切的需要建立一套兼容国产资源日志管控分析平台来满足业务系统日志管理与分析黑龙江道教灵符网请符。从而实现运营分析、实时告警、事件回溯以及满足网络安全法对日志的管理与审计需求等。
同时为积累更丰富的运维数据资源，加速故障分析、追踪和定位，项目将建设兼容国产资源日志管控分析平台，满足日益迫切的运维数据监控及分析要求黑龙江道教灵符网请符。
2.项目目标
建设一套兼容国产资源日志管控分析平台，实现业务系统日志数据集中管理，提供在线日志审计查询功能，满足网络安全法对日志记录与存储的要求黑龙江道教灵符网请符。同时结合日志平台的分析工具对目前接入的业务系统进行数据分析，为业务运营提供高校可靠的数据支撑。
提供实时关键字检索和全文检索，提供高效可靠且易维护使用的集群环境同时可根据关键字段，事件频次进行告警推送黑龙江道教灵符网请符。完成兼容国产资源日志管控分析平台高可用架构设计与部署。
3.建设规划
日志系统架构采用层级架构，由下至上一般应包括以下模块：日志采集模块、日志流式处理模块、日志存储模块、日志检索模块、日志分析模块、日志可视化模块黑龙江道教灵符网请符。
日志采集：负责黑龙江农信各类型的日志采集（主动采集方式、被动接受方式）黑龙江道教灵符网请符。
日志流式处理：负责大量日志数据的结构化处理，以及资源相互协调黑龙江道教灵符网请符。
日志存储：对数据进行存储、归档黑龙江道教灵符网请符。
日志检索：为用户提供准实时的搜索服务黑龙江道教灵符网请符。
日志分析：提供按设备类别、归属关系、报警等基本日志统计分析功能黑龙江道教灵符网请符。支持用户自定义日志分析接口或工具，以实现复杂的统计分析功能。
日志可视化：提供简洁美观日志呈现的交互方式，如：仪表盘、报表黑龙江道教灵符网请符。
其黑龙江道教灵符网请符他相关要求：
（1）系统支持单机部署和多台服务器集群部署模式，能够实现负载均衡黑龙江道教灵符网请符。用于采集网络内操作系统、数据库、中间件、网络设备、安全设备等日志，能通过主动采集或被动接收等方式对日志进行采集并做归并处理
（2）系统架构基于IT业界开放式标准，满足与第三方软件的信息交互要求，为未来的系统扩展奠定基础黑龙江道教灵符网请符。
（3）系统需支持多种告警方式对接，例如通过短信平台、告警平台、邮件等方式，数据交互内容和数据交互方式应满足黑龙江农信的管理规范黑龙江道教灵符网请符。
4.业务功能
以满足国家网络安全等保审计要求和业务系统数据分析为首要目标黑龙江道教灵符网请符，重点实现以下业务功能：
一是对行内的重要业务系统数据进行采集黑龙江道教灵符网请符，分别从交易报文、应用日志、系统日志、错误日志等进行数据分析，结合场景码字典进行映射更好进行业务分析可视化展示；
二是对行内的网络设备、安全设备数据进行收集黑龙江道教灵符网请符，从多个维度进行日志分析，从而进行更精准的找到关键指标；
三是对行内的中间件、操作系统日志进行收集黑龙江道教灵符网请符，针对不同类型中间件、操作系统建立解析规则并完成数据可视化展示和数据搜索；
四是对行内的数据库日志进行收集，提供搜索页面及查询语句，满足等保审计要求黑龙江道教灵符网请符。
二、创新点
随着互联网和大数据时代的到来，需要建设完整的日志分析系统，涉及日志的结构规划、采集存储、过滤关联、统计分析、数据挖掘、图表报告以及管理章程等黑龙江道教灵符网请符。
1、采用高可用架构
平台采用分布式集群架构，分布式存储引擎支持副本机制不存在单点问题，后台管理页面可以动态在线添加节点到集群实现横向扩展，同时为了满足数据分析和监管要求可以对数据进行全量或增量备份，备份数据可以跨集群进行恢复，甚至在集群名称、节点数均不同的情况下仍然可以进行数据恢复黑龙江道教灵符网请符。在后台服务管理中对各模块配置参数、服务启停提供了可视化操作，并可以对某一服务单独升级或整体进行大版本升级。
平台支持客户端所有设备、所有集群、所有组件的一键部署Agent黑龙江道教灵符网请符。统一代理程序支持自动化批量部署及升级，代理程序启动后可以自动注册及纳管，无需人工干预。
2、采用统一Agent管理技术
日志管控平台通过统一Agent程序实现对各类基础设施（服务器、数据库、中间件、网络设备、安全设备、存储设备等）的性能监控采集、日志采集、自动化调度黑龙江道教灵符网请符。
3、多种采集方式的支持
平台采集技术涵盖代理和无代理方式黑龙江道教灵符网请符。平台采用多种采集方式达到对主机、应用和数据库的监控，这些技术包括：
(1) 基于代理的采集：文件或目录、脚本、性能数据、BEATS、KAFKA等
(2) 基于标准协议的采集：PACKETBEAT、等
4、支持国产数据采集
支持中标麒麟操作系统、东方通中间件、达梦数据库、华为等资源黑龙江道教灵符网请符。平台丰富且完善的外部接口保证了平台良好的扩展性，能够快速适配各种新型的国产资源，实现现有资源全覆盖，新资源快速适配，持续提升平台能力和价值
5、数据结构化及数据检索
自动提取日志的关键字段，将非结构化日志转化为结构化数据，标准的日志格式支持有Apache、Nginx、Syslog、Java、JSON等黑龙江道教灵符网请符。特殊日志格式量身定做，提供向导式解析规则配置，实现精准解析，提供正则匹配、KeyValue分解、url解码、时间戳识别、字典翻译、IP 地址库等多种提取方式。所有数据支持全文检索，还可以使用字段、数值范围和布尔检索，查询指定时间范围内的日志。
6、数据采集
支持多种数据接入方式，包括直接由客户端发送数据到接收模块，比如标准的 syslog 协议(RFC5424)、。 日志平台提供两种 Agent 实现方式，一种为 Golang 语言编写的轻量级实现，功能全，性能好
黑龙江道教灵符网请符。另一种为不支持 Golang 语言的 UNIX 平台单独开发的 Java 语言编写，仅支持基础功能。一般情况下，建议用户采用 Golang 版本 Agent。 为了解决跨机房传输的网络安全问题，日志平台还提供了专用的 AgentProxy 实现，同一机房内的数据可以通过 AgentProxy 进行中转代理，方便网络策略设置
黑龙江道教灵符网请符。 7、消息队列
在数据接入以后，将首先进入消息队列组件中进行暂存
黑龙江道教灵符网请符。如果日志平台中并不引入消息队列组件，在数据量因为业务原因突发增量时，很有可能会导致后续索引流程达到瓶颈，最后导致整个集群性能波动直至数据丢失。 8、数据清洗
对数据进行 ETL 清洗是日志分析的前提步骤
黑龙江道教灵符网请符。为了尽量减少对客户应用的影响，数据采集层一般不进行具体的数据清洗操作。数据解析 组件是日志平台自助研发的数据清洗组件，它运行在消息队列组件的下游，可以进行无状态横向集群扩展。数据解析 组件 专注于流式单行日志解析。 9、索引存储
存储引擎是日志平台的核心技术所在
黑龙江道教灵符网请符。日志平台吸取了Lucene开源社区多年积累经验的基础上，针对日志数据的特点，采用C++语言自主开发了Beaver索引存储组件。和主流开源方案相比，在日志分析场景上，提供了诸多功能和性能上的优势。 1.纯实时索引检索引擎;
2.内存原地检索不必耗费I/O;
3.数据段支持内部并发写;
4.单数据段更大
黑龙江道教灵符网请符，减少数据段数量; 5.数据合并的规模小
黑龙江道教灵符网请符，正常情况下因数据合并产生的IO和CPU消耗很低; 6.可以根据时间戳和数据查询的范围排除大量不需要检索的数据块;
7.某些情况下可以优化数据查询
黑龙江道教灵符网请符，不进行时间戳过滤; 8.选择性加载数据元;
9.可以管理的数据段没有内存限制;
10.数据元耗费的内存可以控制;
11.对索引打开数量不敏感;
12.引擎会自动根据ssd
黑龙江道教灵符网请符，sata，nas不同级别存储完成热，温，冷索引迁移和控制; 13.内存使用完全可控;
10、搜索统计
作为了提供更加丰富和灵活的查询和统计功能，日志平台设计了独特的SPL(Search Processing Language)语法
黑龙江道教灵符网请符。搜索统计模块SPLServer承担了对SPL的语法解析和任务调度工作。其中，SPL语法指令又分为流式指令和集中式指令。流式指令部分，SPLServer 在解析之后，可以自动分发到Beaver存储组件上分布式执行。集中式指令则在 SPLServer本地执行。 三、项目过程管理
黑龙江农信于2022年4月启动日志管理分析平台项目，6月完成系统编码、测试和上线准备，于9月在辖内江北机房进行试运行
黑龙江道教灵符网请符。 四、运营情况
在满足国家对网络安全等级保护管理要求的同时，我们也与系统负责人不断地深入沟通，了解系统运维过程中的痛点，结合实际的业务场景进行分析
黑龙江道教灵符网请符。帮助运维人员实现系统各指标的运行分析、实时监测并告警、事件发生后的回溯查看，在第一时间发现并处理故障，实现了自动化运维工作，大大提高了生产的工作效率。 五、项目成效
场景1：信贷系统日志分析
以信贷系统运行仪表盘为例
黑龙江道教灵符网请符。 在对信贷系统日志分析后，能够清晰看到系统运行的各项指标，包括：交易量、交易耗时、交易成功率、交易失败笔数、交易量趋势、各交易类型交易耗时、交易类型占比分析等
黑龙江道教灵符网请符。通过上述指标能够在交易异常时，发现交易量趋势呈下降趋势，交易失败笔数对比昨天同一时间节点增加，交易成功率降低、交易耗时增大等。在信贷系统与其他系统联动过程中我们也能发现其交易耗时是否高于平均值，是否有失败交易。 资源日志管控分析平台上线后，更进一步提高运维人员的工作效率，查找问题关键信息定位更精准，保证了业务系统的稳定运行
黑龙江道教灵符网请符。 场景二：信创国产化应用
在国产化信创进程中新技术的应用和及时有效监控管理的
黑龙江道教灵符网请符，为后续IT资源国产化的工作提供了运维风险管控能力如下： 1、实现基础设施全覆盖
实现了对服务器、数据库、中间件、网络设备、安全设备、存储设备等基础设施的全覆盖
黑龙江道教灵符网请符。 2、实现
黑龙江道教灵符网请符了现有国产资源的全覆盖 目前已适配的国产资源包括：中标麒麟操作系统，华为和宏杉存储设备，东方通中间件，启明星辰、天融信和深信服安全设备
黑龙江道教灵符网请符。 3、实现基础监控数据多维度监控和可视化
支持各类基础设施性能数据（可用性、容量、性能）、日志文件、数据的监控
黑龙江道教灵符网请符。对监控数据以报表和视图的方式通过表格、曲线图、折线图、饼图、热力图、区域图、柱状图、桑基图等形式进行数据展示。 4、实现多种手段的实时通知
监警信息通过邮件、短信等方式进行实时通知
黑龙江道教灵符网请符。 5、实现
黑龙江道教灵符网请符了数据结构化、数据检索及数据可视化展示 对原始数据进行标准化处理后，将原本没有含义的数据进行结构化，生成标准字段
黑龙江道教灵符网请符。通过数据检索功能查找关键字、唯一标识符等低频词元，高效查找，快速定位和读取原始日志内容，再对数据字段进行一系列指标运算统计分析，帮助运维人员加速故障分析、追踪和定位问题。 六、经验总结
在兼容国产资源日志管控分析平台建设过程中，让龙江农信更进一步整合了数据提升了数据的治理能力，深化了数据对系统的帮助，构建了数据驱动业务创新的能力基础
黑龙江道教灵符网请符。接下来，我们将持续推进数据运营闭环的构建；在工具层我们将不断完善现产品功能；在业务层将力争实现业务场景的全覆盖。 更多金融科技案例和金融数据智能优秀解决方案，请登录数字金融创新知识服务平台金科创新社案例库、选型库查看
黑龙江道教灵符网请符。
免费测八字 今年运势 请加师父微信
免费看八字运势 请加师父微信： sanqingge8
寻找符咒,灵符,符咒网,道教符咒网,灵符网站,灵符网官网,购买符咒请灵符,这里有各种手绘开光符咒:财运符,财运符咒,财运亨通符咒,五路财神符咒,太岁符咒,化太岁符咒,回心转意符咒,护身符咒,文昌符咒,学业灵符符,开运符咒,转运灵符,桃花符,月老姻缘符咒,偏财符,五鬼运财符咒,化小人符咒,事业符咒,升官符咒,去病符咒,去疾符咒,健康符咒,平安符咒,夫妻和合符,情感和合符咒。
咨询道教符咒 咨询师父微信： sanqingge8
符咒类型如下：
01.财运符-增财运补财库开运 02.太岁符-化解不利顺利度过 03. 回心符-挽回感情增缘复合 04. 护身符-辟邪镇宅转运护身 05. 学业符 -魁星点斗文昌帝君 06. 开运符-开运转运驱除霉运 07. 桃花符-桃花早到月老姻缘 08. 偏财符-五鬼运财偏财运势 09 .小人符-化解小人是非口舌 10 .事业符-事业有成无往不利 11. 去疾符-药王化疾祛病消愈 12. 健康符-身心健康得偿所愿 13. 平安符-诸事顺利健康平安 14 .和合符-夫妻情感姻缘和合 15.定制符-心有所想 专属定制
咨询道教法事 咨询师父微信：sanqingge8
01.化解太岁法事——解太岁、谢太岁 02.升官晋职法事 ——官运亨通提升政绩 03.文昌考试法事—— 开窍聪慧考试顺利 04.偿还阴债法事—— 生债阴宅逢凶化吉 05.开财门补财库—— 增加财运助旺事业 06.助种生基法事—— 病魔缠身增寿增运 07.催子受孕法事—— 生子布阵子女满堂 08.开运转运法事—— 改运天命一帆风顺 09.催财发财法事—— 偏财运势正财持久 10.化解童子法事—— 姻缘顺利仙灵护佑 11.化解小人法事—— 化解小人防人陷害 12.小儿平安法事—— 驱邪回魂活泼健康 13.超度亡灵法事—— 祭奠亲人早登极乐 14.超度宠物法事—— 人类朋友转生脱苦 15.超度婴灵法事—— 打胎坠胎消灾除难 16.祈福许愿法事—— 许愿还愿祈求祈福 本文链接：https://fuzhouwang.org/index.php/post/12437.html 转载声明：本站文章中有转载或采集其他网站内容， 如有转载的文章涉及到您的权益及版权,还麻烦及时联系我们，我们将及时删除，谢谢配合。
