F5内网大二层负载均衡业务访问故障解析(CISCO OTV+LISP-MTU问题导致)

简介:

一、问题现象

    最近在某客户由于假期出现核心CISCO 6509硬件故障当机问题,进而发现F5发布的3个应用访问问题,出现一部分人访问应用出现不可用的问题,时好时坏,内网使用F5 GTM+LTM进行域名双活,内部同城双活DC通过三层路由使用CISCO的大二层技术OTV+LISP技术构建;

    F5上面检查应用不管是VS还是pool member都是正常,health check or monitor算法采用TCP;通过将LTM双机上面对端DC业务member 进行offline,GSLB的跨DC member disable解析只导流到主DC,此时业务访问正常,形成单活进行排查

    问题表象是跨DC访问后业务就访问异常,但是神奇的是只有部分vlan有问题,大部分跨DC的vlan没有问题!

    通过初步排查,应用人员表示应用无问题,网络人员表示网络无问题(可以从主中心ping通备中心应用IP,可以跨DCtelnet通业务应用端口,而且其它vlan没有问题),F5人员也表示F5日志各方面正常,无异常日志!


二、问题原因

    F5人员建议对跨DC访问的443端口进行直接访问(不经过F5负载)测试与抓包,检查数据包通信情况

    通过抓包,发现TCP三次握手正常,但是SSL协议握手异常,客户端发送了client hello之后,服务器端回送了一个1050byte左右的ssl data(非server hello)包且提示前导段丢失!然后接着客户端FIN掉了连接!

    再通过对本DC正常应用访问抓包,明确SSL协商正常,SSL握手包最多几百byte,所以这是应用层面的异常问题,并不是简单的网络层面的问题

    但是否是应用的问题呢,让应用人员更换一个vlan后,访问正常!证明并不是应用层面的配置异常问题!很可能是网络影响应用的一个问题!

    鉴于硬件故障当机,路径变化,应用ssl协议交互数据包大小异常,并提示previos fragment前导段丢失等网络问题,F5人员建议检查MTU设置,然后客户管理人员以及网络人员才说出之前也出现过MTU问题,让CISCO TAC进行检查,通过几个小时检查,终于确认是由于CISCO 6509当机导致部分VLAN OTV路径变换,MTU没有改为9216字节的MTU导致!

    更改后业务访问正常!


三、解决方法

    更换路径中的OTV MTU后解决,F5相关配置还原,应用测试正常!


本文转自 Bruce_F5 51CTO博客,原文链接:http://blog.51cto.com/zenfei/2051358


相关实践学习
部署高可用架构
本场景主要介绍如何使用云服务器ECS、负载均衡SLB、云数据库RDS和数据传输服务产品来部署多可用区高可用架构。
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
2月前
|
缓存 负载均衡 网络协议
阿里云DNS常见问题之某个地域访问不到如何解决
阿里云DNS(Domain Name System)服务是一个高可用和可扩展的云端DNS服务,用于将域名转换为IP地址,从而让用户能够通过域名访问云端资源。以下是一些关于阿里云DNS服务的常见问题合集:
|
2月前
|
网络协议 网络安全 开发工具
阿里云DNS常见问题之手机内网打不开如何解决
阿里云DNS(Domain Name System)服务是一个高可用和可扩展的云端DNS服务,用于将域名转换为IP地址,从而让用户能够通过域名访问云端资源。以下是一些关于阿里云DNS服务的常见问题合集:
|
2月前
|
域名解析 网络协议 开发工具
阿里云DNS常见问题之访问重定向的url访问有问题如何解决
阿里云DNS(Domain Name System)服务是一个高可用和可扩展的云端DNS服务,用于将域名转换为IP地址,从而让用户能够通过域名访问云端资源。以下是一些关于阿里云DNS服务的常见问题合集:
|
4月前
|
存储 数据可视化 C语言
C 语言数组教程:定义、访问、修改、循环遍历及多维数组解析
数组用于将多个值存储在单个变量中,而不是为每个值声明单独的变量。 要创建数组,请定义数据类型(例如 int)并指定数组名称,后面跟着方括号 []。 要将值插入其中,请使用逗号分隔的列表,并在花括号内使用
466 0
|
3月前
|
网络协议 物联网 5G
K3S 系列文章 -5G IoT 网关设备 POD 访问报错 DNS 'i/o timeout' 分析与解决
K3S 系列文章 -5G IoT 网关设备 POD 访问报错 DNS 'i/o timeout' 分析与解决
|
15天前
|
Linux 网络安全 Apache
使用树莓派搭建个人网站,并发布到外网可访问:实用步骤解析
使用树莓派搭建个人网站,并发布到外网可访问:实用步骤解析
|
2月前
|
域名解析 网络协议 应用服务中间件
阿里云DNS常见问题之域名在代理服务器上不能访问只能通过IP映射如何解决
阿里云DNS(Domain Name System)服务是一个高可用和可扩展的云端DNS服务,用于将域名转换为IP地址,从而让用户能够通过域名访问云端资源。以下是一些关于阿里云DNS服务的常见问题合集:
|
3月前
|
域名解析 网络协议 安全
dns解析问题之某个地域访问不到如何解决
DNS解析是指将人类可读的域名转换成机器可读的IP地址的过程,它是互联网访问中不可或缺的一环;本合集将介绍DNS解析的机制、类型和相关问题的解决策略,以确保域名解析的准确性和高效性。
49 4
dns解析问题之某个地域访问不到如何解决
|
3月前
|
域名解析 弹性计算 缓存
DNS问题之无法通过域名访问如何解决
DNS服务器是负责将域名转换为IP地址的服务,它是互联网上实现域名解析的关键基础设施;本合集将探讨DNS服务器的工作原理、配置方法和常见问题处理,帮助用户理解和优化DNS服务的使用。
77 2
|
4月前
|
分布式计算 负载均衡 Cloud Native
F5负载均衡有何技术优势?为你详细解读
F5负载均衡有何技术优势?为你详细解读
138 1

推荐镜像

更多