应用容器化优化指南 - Golang篇

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 前言 随着容器技术的兴起,越来越多不同类型的应用开始使用容器的方式进行交付。Golang作为服务器端非常热门的一门语言同时也是容器技术的主要编写语言备受关注。那么将一个Golang应用进行容器化的时候,需要注意哪些事情,在出现问题时该如何进行调优和诊断呢? 先谈谈Golang本身的设计 Golang是谷歌发布的第二款开源编程语言。

前言

随着容器技术的兴起,越来越多不同类型的应用开始使用容器的方式进行交付。Golang作为服务器端非常热门的一门语言同时也是容器技术的主要编写语言备受关注。那么将一个Golang应用进行容器化的时候,需要注意哪些事情,在出现问题时该如何进行调优和诊断呢?

先谈谈Golang本身的设计

Golang是谷歌发布的第二款开源编程语言。Golang专门针对多处理器系统应用程序的编程进行了优化,使用Golang编译的程序可以媲美C或C++代码的速度,而且更加安全、支持并行进程。Golang在容器相关的场景和领域以及高并发的服务器程序场景下扮演着非常重要的角色。

Golang具有如下三个特点:

  • 简洁 快速 安全
  • 并行 有趣 开源
  • 内存管理 数组安全 编译迅速

在学习一门语言前,通常我会主要关注如下三个方面:第一这门语言的特性是什么;第二这门语言解决的场景和问题是什么;第三这门语言的内部设计是否有需要注意的地方。上面的介绍已经为我们解答了第一个和第二个问题,那么接下来我们主要来讨论第三个问题。那么Golang的这些优秀的特性内部的设计方式是什么样子的,使用起来是否有什么需要特别注意的呢?为了详细解答这个问题,我们将问题拆分成了二个部分分别为大家解答。

  • Golang是如何实现并行的

高并发是Golang被大家接纳和认可的最重要一环。对于大型的互联网项目而言,高并发可以说是应用性能的立足之本,再棒的功能与特性也不如稳定运行来得让人安心。从前大家在关注C10K问题,而现在越来越多的人开始思考如何解决C10M问题。从C10K问题到C10M问题,解决问题的方式已经不是简简单单的调整内核参数那么简单的。更多的是要从架构甚至应用自身的角度来解决,一个高效的并发模型,可以从应用程序的交付压榨系统的性能。目前比较成熟的并发模型,主要是通过进程、线程与协程三种不同方式来进行实现的。

进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源分配和调度的一个独立单位。每个进程都有自己的独立内存空间,不同进程通过进程间通信来通信。由于进程比较重量,占据独立的内存,所以上下文进程间的切换开销(栈、寄存器、虚拟内存、文件句柄等)比较大,但相对比较稳定安全。

线程是进程的一个实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位.线程自己基本上不拥有系统资源,只拥有一点在运行中必不可少的资源(如程序计数器,一组寄存器和栈),但是它可与同属一个进程的其他的线程共享进程所拥有的全部资源。线程间通信主要通过共享内存,上下文切换很快,资源开销较少,但相比进程不够稳定容易丢失数据。

协程是一种用户态的轻量级线程,协程的调度完全由用户控制。协程拥有自己的寄存器上下文和栈。协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈,直接操作栈则基本没有内核切换的开销,可以不加锁的访问全局变量,所以上下文的切换非常快。

Golang的并发模型是基于协程的,而协程在Linux底层的调度是依赖进程的调度的,而这之间的转换都通过Golang自身的调度器进行了管理,无需开发者关心。但是这个时候有经验的开发者就会提出问题了,golang本身是编译型的语言没有类似JVM一样的虚拟机可以在运行时指定参数,那么Goroutine这种方式是否有参数需要设置来保证性能。

此处给大家讲述一个关于Goroutine栈扩容的问题,我们内部有一个全双工的高并发写离线数据的服务,在底层数据出现消费慢的时候快速出现OOM,问题产生的原因就是由于Goroutine栈扩容,最后可以通过通过拆分Goroutine的逻辑到上半段和work group的方式实现,由于篇幅的原因不过多的赘述,可以参考如下这篇博客更深入了解栈扩容的问题。

  • Golang的内存是如何管理的

内存管理对于C++与Java的开发者而言是最熟悉不过的了。C++的开发者必须通过代码手动的申请与释放内存,因此必须熟悉内存布局和使用;Java的开发者虽然有JVM帮助进行内存的管理与回收,但JVM不同的内存参数配置会导致程序因为回收内存带来不同的性能表现。而Golang作为一门高级编程语言,同样无需开发者直接操作内存,但是Golang中的GC设计是存在一些缺欠的。主要的问题在GC时的卡顿上,具体的问题可以参考如下文章,不过这点也无需大家特别关心,建议直接使用Golang1.9以后的版本进行编译即可。深入了解Golang的GC可以参考如下文章

Golang容器化建议

  • 常规容器化建议

首先需要进行的是常规的容器化优化,具体的内容可以参考如下文章进行体积的精简和优化。

  • Golang 中DNS的问题

不同语言对于DNS的Lookup处理会有所不同,在Java或者Node.JS等常见的语言和框架中对DNS Lookup都提供语言级别的内置的Cache,而在Golang中却不存在类似的能力,这会导致对于高并发的场景中,Golang程序有可能会出现大量的DNS查询,而在kubernetes中,DNS是通过内部的coredns或者kube-dns的方式提供的,因此有可能会因为大流量的Golang DNS导致集群异常,为了解决这个问题,建议开发者在Golang的Dockerfile中集成nscd进行DNS的Cache,具体的操作步骤可以参考如下文档

  • Golang 中GC的问题

在本文的上面的部分,为大家讲解了Golang GC的一些缺欠以及如何避免GC问题的方式,在容器化的时候是否还需要做其他的优化呢?面对内存的异常,我们要如何定位是一个GC的问题呢?这里要给大家介绍的是Golang自来的pprof,pprof是Golang语言中内置的性能调优工具,可以协同Flame-Graph,排查CPU性能、内存性能、GC回收等问题,建议在容器的场景中,在代码中集成pprof,并通过环境变量的方式进行开关设置,容器的Dockerfile中保留端口的保留,当出现问题的时候可以设置环境变量的方式进行开启,快速进行线上问题的诊断。pprof的使用,可以参考如下文章

  • Golang 中CGO的问题
    我们知道Golang作为一门编译型的语言,可以通过开启CGO的标签,直接使用C的代码并编译为二级制文件直接使用。但是这种方式非常不建议在容器中开启,特别是使用类似Alpine这种最小镜像的场景下。因为开启CGO的场景下,会动态链接系统的C库,而在Alpine上,很多的目录布局是有所差异的,另外有些最简化的版本glibc的支持并不完善,因此非常不建议使用CGO的方式编译Golang在容器中使用。
  • Golang 中监控的建议
    容器中很多监控的方式都无法很好的直接复用,建议大家使用更Docker的方式来解决,例如使用Prometheus的方式暴露Golang应用内部的指标进行监控,这也是目前非常多Golang开源项目的标配了。使用方式参考下文,与容器服务结合可以参考如下文章
  • Golang 中性能的问题
    Golang与容器的结合通常是为了高性能的场景,那么通常需要对内核参数进行部分的调整,具体的调整方式可以参考如下文章

最后

Golang相对而言算是非常”省心“的一门语言了,在老版本的Golang中还需要通过runtime设置GOMAXPROCS,但是在最新版本的Golang中已经基本无需关心runtime的任何参数设置了,这些参数就像nginx的auto一样,会随着探测的配置自动变化,而在容器中,我们依然需要GOMAXPROCS,因为GOMAXPROCS的识别方式是通过获取系统资源的方式确定的,而在容器中是通过只读挂载宿主机的文件实现的,因此获取的资源还是宿主机的数值。因此,Golang的应用容器化,更多的还是要做好标准镜像优化的步骤,以及在代码级别做好避免触发GC和Goroutine的问题。

目录
打赏
0
0
0
0
78903
分享
相关文章
监控局域网其他电脑:Go 语言迪杰斯特拉算法的高效应用
在信息化时代,监控局域网成为网络管理与安全防护的关键需求。本文探讨了迪杰斯特拉(Dijkstra)算法在监控局域网中的应用,通过计算最短路径优化数据传输和故障检测。文中提供了使用Go语言实现的代码例程,展示了如何高效地进行网络监控,确保局域网的稳定运行和数据安全。迪杰斯特拉算法能减少传输延迟和带宽消耗,及时发现并处理网络故障,适用于复杂网络环境下的管理和维护。
揭秘 Go 语言中空结构体的强大用法
Go 语言中的空结构体 `struct{}` 不包含任何字段,不占用内存空间。它在实际编程中有多种典型用法:1) 结合 map 实现集合(set)类型;2) 与 channel 搭配用于信号通知;3) 申请超大容量的 Slice 和 Array 以节省内存;4) 作为接口实现时明确表示不关注值。此外,需要注意的是,空结构体作为字段时可能会因内存对齐原因占用额外空间。建议将空结构体放在外层结构体的第一个字段以优化内存使用。
|
2月前
|
Go 语言入门指南:切片
Golang中的切片(Slice)是基于数组的动态序列,支持变长操作。它由指针、长度和容量三部分组成,底层引用一个连续的数组片段。切片提供灵活的增减元素功能,语法形式为`[]T`,其中T为元素类型。相比固定长度的数组,切片更常用,允许动态调整大小,并且多个切片可以共享同一底层数组。通过内置的`make`函数可创建指定长度和容量的切片。需要注意的是,切片不能直接比较,只能与`nil`比较,且空切片的长度为0。
Go 语言入门指南:切片
|
2月前
|
公司局域网管理系统里的 Go 语言 Bloom Filter 算法,太值得深挖了
本文探讨了如何利用 Go 语言中的 Bloom Filter 算法提升公司局域网管理系统的性能。Bloom Filter 是一种高效的空间节省型数据结构,适用于快速判断元素是否存在于集合中。文中通过具体代码示例展示了如何在 Go 中实现 Bloom Filter,并应用于局域网的 IP 访问控制,显著提高系统响应速度和安全性。随着网络规模扩大和技术进步,持续优化算法和结合其他安全技术将是企业维持网络竞争力的关键。
53 2
公司局域网管理系统里的 Go 语言 Bloom Filter 算法,太值得深挖了
eino — 基于go语言的大模型应用开发框架(二)
本文介绍了如何使用Eino框架实现一个基本的LLM(大语言模型)应用。Eino中的`ChatModel`接口提供了与不同大模型服务(如OpenAI、Ollama等)交互的统一方式,支持生成完整响应、流式响应和绑定工具等功能。`Generate`方法用于生成完整的模型响应,`Stream`方法以流式方式返回结果,`BindTools`方法为模型绑定工具。此外,还介绍了通过`Option`模式配置模型参数及模板功能,支持基于前端和用户自定义的角色及Prompt。目前主要聚焦于`ChatModel`的`Generate`方法,后续将继续深入学习。
337 7
企业监控软件中 Go 语言哈希表算法的应用研究与分析
在数字化时代,企业监控软件对企业的稳定运营至关重要。哈希表(散列表)作为高效的数据结构,广泛应用于企业监控中,如设备状态管理、数据分类和缓存机制。Go 语言中的 map 实现了哈希表,能快速处理海量监控数据,确保实时准确反映设备状态,提升系统性能,助力企业实现智能化管理。
36 3
|
2月前
|
【02】客户端服务端C语言-go语言-web端PHP语言整合内容发布-优雅草网络设备监控系统-2月12日优雅草简化Centos stream8安装zabbix7教程-本搭建教程非docker搭建教程-优雅草solution
【02】客户端服务端C语言-go语言-web端PHP语言整合内容发布-优雅草网络设备监控系统-2月12日优雅草简化Centos stream8安装zabbix7教程-本搭建教程非docker搭建教程-优雅草solution
92 20
eino — 基于go语言的大模型应用开发框架(一)
Eino 是一个受开源社区优秀LLM应用开发框架(如LangChain和LlamaIndex)启发的Go语言框架,强调简洁性、可扩展性和可靠性。它提供了易于复用的组件、强大的编排框架、简洁明了的API、最佳实践集合及实用的DevOps工具,支持快速构建和部署LLM应用。Eino不仅兼容多种模型库(如OpenAI、Ollama、Ark),还提供详细的官方文档和活跃的社区支持,便于开发者上手使用。
291 8
Go 语言中的 Sync.Map 详解:并发安全的 Map 实现
`sync.Map` 是 Go 语言中用于并发安全操作的 Map 实现,适用于读多写少的场景。它通过两个底层 Map(`read` 和 `dirty`)实现读写分离,提供高效的读性能。主要方法包括 `Store`、`Load`、`Delete` 等。在大量写入时性能可能下降,需谨慎选择使用场景。
Go语言实战:错误处理和panic_recover之自定义错误类型
本文深入探讨了Go语言中的错误处理和panic/recover机制,涵盖错误处理的基本概念、自定义错误类型的定义、panic和recover的工作原理及应用场景。通过具体代码示例介绍了如何定义自定义错误类型、检查和处理错误值,并使用panic和recover处理运行时错误。文章还讨论了错误处理在实际开发中的应用,如网络编程、文件操作和并发编程,并推荐了一些学习资源。最后展望了未来Go语言在错误处理方面的优化方向。