ossfs使用问题排查案例_ossfs_常用工具_对象存储 OSS_阿里云技术文档

本文介绍在使用 ossfs 时遇到的一些问题案例及解决方案。

ossfs 的报错都会有明显的 message。排查问题时，需要收集这些 message，并根据 message 判断问题。例如，socket 建连失败、HTTP 响应的状态码4xx、5xx等，使用前先将 debug-log 功能开启。

说明如果使用 ossfs 不满足业务需求时，可以考虑使用 ossutil。

如果发现 ossfs 在 ls 目录文件时很慢，可以增加调优参数，通过 -omax_stat_cache_size=xxx 参数增大 stat cache 的 size，修改参数之后，第一次 ls 会较慢，但是后续 ls 速度会提高。

案例：安装依赖库 fuse 报错

问题分析：这种问题是 fuse 的版本不满足 ossfs 的要求。

解决方案：手动下载 fuse 最新版本安装，不要使用 yum 安装。详情请参考：fuse。

排查步骤：

开启 ossfs 的 debug 日志，加上 -d -o f2 参数，ossfs 会把日志写入到系统 /var/log/message。
分析日志，发现 ossfs 在 listbucket、listobject 申请内存过多，触发了系统的 oom。

说明 listobject 是发起 http 请求到 OSS 获取文件的 meta 信息，如果客户的文件很多，ls 会消耗系统大量内存来获取文件的 meta。

解决方案：

通过 -omax_stat_cache_size=xxx 参数增大 stat cache 的 size，这样第一次 ls 会较慢，但是后续的 ls 速度会提高，因为文件的元数据都在本地 cache 中。这个值默认是1000，约消耗 4MB 内存，请根据您机器内存大小调整为合适的值。
ossfs 在读写时会占用磁盘写大量的 temp cache ，和 nginx 差不多，可能会导致磁盘可用空间不足，需要经常清理。
使用 osstuil 替代 ossfs ，非线上敏感业务可以使用 ossfs ，要求可靠性、稳定性的建议使用 ossutil。

问题分析：根据 Message 判断，错误原因是 Endpoint 指定错误，有以下两种可能性：

解决方案：确认正确的配置信息并修改。

问题分析：input/output error 都是捕获到系统磁盘的错误而产生的报错，可以查看出现报错时，磁盘读写是否存在高负载的情况。

解决方案：可以增加分片参数，控制文件读写。使用 ossfs -h命令可以查看分片参数。

问题分析：ossfs 与 rsync 同步使用本身会出现问题，此案例中，用户是对一个 141GB的大文件进行 cp 操作，使磁盘读写处于非常高的负载状态，从而产生此报错。

解决方案：如果想要将 oss 文件下载到本地 ECS ，或者本地上传到 ECS ，可以通过 ossutil 的分片上传、下载进行操作。

问题分析：ossfs 上传大文件时，是通过分片来上传的。分片大小默认为 10MB，分片最大数量为1000个。

ossfs 在上传文件时会写一些临时缓存文件到 /tmp 目录下，在写这些文件之前需要先判断 /tmp 目录所在的磁盘可用空间是否小于用户上传的文件总量，若判断磁盘可用空间小于用户上传文件总量，就会出现本地磁盘可用空间不足的报错。以下场景会导致磁盘可用空间不足的报错：

场景一：磁盘可用空间本身小于用户上传文件总量。例如，磁盘可用空间是200GB，上传的文件是300GB。
场景二：分片大小和上传线程数量的参数设置错误。例如：磁盘可用空间是300GB，需上传的文件是100GB。因操作错误，multipart_size 被设置成了100GB，上传线程数量是5。此时 ossfs 判断上传的文件就是100GB*5=500GB，超过磁盘安全空间了。

解决方案：

问题分析：403错误通常是访问权限问题导致的。以下情况会导致 touch 一个文件出现403报错。

解决方案：