JAVA模拟PostObject表单上传OSS,实现签名直传

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 从multipart/form-data编码的标准定义和OSS系统解析POST请求的实现两个方面,阐述OSS官网中的PostObject文档内容,最后给出JAVA实现PostObject直传OSS的代码参考。
先感慨一下:不亲自去趟一趟自己的坑,永远无法理解用户的痛!!

使用JAVA实现PostObject这个需求,其实来自之前support同学的一段描述,说是有用户需求,但是官方没有任何demo的代码参考,用户自己根据官方文档介绍实现却是各种很难调查的问题。这个背景就不细说了。后来因为项目需要,就照着官网也去实现了一把,各中酸泪尽享其中,总之,我们还是有很多需要改进的地方的。为了用户,自勉,共勉!!

Post Object使用HTML表单上传文件到指定bucket,作为Put的替代品,使得基于浏览器上传文件到bucket成为可能。关于OSS官方文档对PostObject这个API的介绍文档参见 这里 (建议先阅读这个PostObject的介绍,下面的内容均与此有关,不然可能看不懂哦)。

官网中首先给出了HTTP的请求语法,即HTTP请求头和通过multipart/form-data编码的处于消息实体中用来传递参数的表单域形式;接下来通过表单域的表格形式逐个介绍了“file”和“key”这样“必选”的表单域,“OSSAccessKeyId”、“policy”、“Signature”这种因为其中一个的出现而变成必须出现的表单域,还有REST请求头、x-oss-meta-*用户meta及其他可选的表单域;然后介绍了一些表单域的特殊使用方式和注意事项;最后花了大篇幅介绍Post Policy和Signature的功能、用法。
文档大致清晰,只是因为概念较多,不容易理解,并且在实现中对容易出错的地方没有进行强调,导致问题调查的难度增加。根据亲身经历分析,主要的问题可能两个方面。
  • 对multipart/form-data这种MIME类型的编码方式不熟悉。
  • 对OSS系统解析PostObject请求的实现规则不了解。

接下来,针对上面两个方面进行详细的讲解。

      multipart/form-data的介绍详见 RFC 2388,以下几点简单提一下:
      1. “multipart/form-data”包含一系列的域,每个域都有一个类型为“form-data”的content-disposition首部,并且,这个首部包含参数“name”,用来描述该表单域内容的描述信息。所以,每个域都会有如文档中给出的示例形式:
Content-Disposition: form-data; name="your_key"

 注意:":"和";"后面都有一个空格。
      2. 表单中有需求上传用户文件,可能会需要文件名称或者其他文件属性,需要包含在content-dispoisition首部中,如参数"filename",而且对于表单域中的任何MIME类型,都有一个optional的Content-Type属性,用来标识文件内容类型。所以文档中给出了“file”表单域的示例如下:

Content-Disposition: form-data; name="file"; filename="MyFilename.jpg"
Content-Type: image/jpeg

 注意:“filename”前的";"后仍然有一个空格;Content-Type之后的“:”同样有一个空格。
      3. 使用boundary来分隔数据,为了和主体内容区分,尽量使用复杂的boundary。如文档中给出的HTTP首部中的内容:

Content-Type: multipart/form-data; boundary=9431149156168

      4. 每个表单域的结构都是固定的。规定每个表单域都以"--"boundary+开头,然后回车(/r/n);然后是该表单域的描述信息(见描述1),接着/r/n。如果传送的内容是一个文件的话,那么还会包含文件名信息,回车(/r/n)之后接上文件内容的类型(见描述2)。然后,紧接着再一个回车(/r/n),开始真正的具体内容,最后以/r/n结束。
      5. 在最后的表单域结束,以"--"+boundary+"--"结尾,表示请求体结束。
      6. 补充一点,HTTP请求header与主体信息之间(header和第一个表单域的交界处),也需要有一个/r/n用来区分,即多出一个空行,如文档中:

Content-Type: multipart/form-data; boundary=9431149156168

--9431149156168
Content-Disposition: form-data; name="key"

 
      以上,大致是对照RFC 2388的标准描述了OSS官方文档中给出的请求语法以及相关的分析。下面会讲解一小部分OSS系统解析PostObject请求过程,和相关注意事项。

 OSS解析POST请求的大致流程如下图(仅供参考,与真实实现有差异):
ce31679379050932b9ff25b26374ea45fa4db84b
  请求的处理流程可以简单的理解为三个步骤:
      1. 从HTTP请求header中解析boundary,用来区分域的分界;
      2. 解析各个域的内容,直到遇到‘file’这个表单域;
      3. 解析‘file’表单域。
  所以,文档中会强调,需要将‘file’这个表单域放置在“最后一个域”中,不然,处于file之后的表单域不保证一定能生效哦!如果是把‘key’这个必须的表单域放置在‘file’的后面,亲测,肯定是InvalidArgument。
      
       简单介绍一些图上的某些流程:
       1) check POLICY、OSSACCESSKEYID、SIGNATURE existence: 因为POLICY、OSSACCESSKEYID、SIGNATURE这三个域,其中一个出现,其他两个都会成为必选域,所以这里会做该类检查。
       2) Authorization: 根据POLICY、OSSACCESSKEYID、SIGNATURE等信息对验证该Post请求的合法性。
       3) Policy rule check: 检查请求各个表单域中的设置是否符合policy的配置。
       4)  check length  Legality: 因为Post请求的body总长度有限制,对可选的域的长度会进行检查。
       5) ParseFile中的ParseContentType: 解析file域中的ContentType字段,该字段不是必须的。


   最后,这里附上JAVA实现的OSS PostObject上传的代码(Maven工程),供各位OSS用户和研究人员参考使用:
import javax.activation.MimetypesFileTypeMap;
import java.io.*;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.HashMap;
import java.util.Iterator;
import java.util.LinkedHashMap;
import java.util.Map;

/**
 * Created by yushuting on 16/4/17.
 */
public class OssPostObject {

    private String postFileName = "your_file";  // 确保运行代码的路径中有该文件
    private String ossEndpoint = "your_endpoint";  // 如: http://oss-cn-shanghai.aliyuncs.com
    private String ossAccessId = "your_accessid";  // 你的访问AK信息
    private String ossAccessKey = "your_accesskey";  // 你的访问AK信息
    private String objectName = "your_object_name";  // 你上传文件之后的object名称
    private String bucket = "your_bucket";  // 你之前创建的bucket,确保这个bucket已经创建

    private void PostObject() throws Exception {

        String filepath=postFileName;
        String urlStr = ossEndpoint.replace("http://", "http://"+bucket+"."); // 提交表单的URL为bucket域名

        LinkedHashMap<String, String> textMap = new LinkedHashMap<String, String>();
        // key
        String objectName = this.objectName;
        textMap.put("key", objectName);
        // Content-Disposition
        textMap.put("Content-Disposition", "attachment;filename="+filepath);
        // OSSAccessKeyId
        textMap.put("OSSAccessKeyId", ossAccessId);
        // policy
        String policy = "{\"expiration\": \"2120-01-01T12:00:00.000Z\",\"conditions\": [[\"content-length-range\", 0, 104857600]]}";
        String encodePolicy = java.util.Base64.getEncoder().encodeToString(policy.getBytes());
        textMap.put("policy", encodePolicy);
        // Signature
        String signaturecom = com.aliyun.oss.common.auth.ServiceSignature.create().computeSignature(ossAccessKey, encodePolicy);
        textMap.put("Signature", signaturecom);

        Map<String, String> fileMap = new HashMap<String, String>();
        fileMap.put("file", filepath);

        String ret = formUpload(urlStr, textMap, fileMap);
        System.out.println("[" + bucket + "] post_object:" + objectName);
        System.out.println("post reponse:" + ret);
    }

    private static String formUpload(String urlStr, Map<String, String> textMap, Map<String, String> fileMap) throws Exception {
        String res = "";
        HttpURLConnection conn = null;
        String BOUNDARY = "9431149156168";
        try {
            URL url = new URL(urlStr);
            conn = (HttpURLConnection) url.openConnection();
            conn.setConnectTimeout(5000);
            conn.setReadTimeout(30000);
            conn.setDoOutput(true);
            conn.setDoInput(true);
            conn.setRequestMethod("POST");
            conn.setRequestProperty("User-Agent",
                    "Mozilla/5.0 (Windows; U; Windows NT 6.1; zh-CN; rv:1.9.2.6)");
            conn.setRequestProperty("Content-Type",
                    "multipart/form-data; boundary=" + BOUNDARY);

            OutputStream out = new DataOutputStream(conn.getOutputStream());
            // text
            if (textMap != null) {
                StringBuffer strBuf = new StringBuffer();
                Iterator iter = textMap.entrySet().iterator();
                int i = 0;
                while (iter.hasNext()) {
                    Map.Entry entry = (Map.Entry) iter.next();
                    String inputName = (String) entry.getKey();
                    String inputValue = (String) entry.getValue();
                    if (inputValue == null) {
                        continue;
                    }
                    if (i == 0) {
                        strBuf.append("--").append(BOUNDARY).append(
                                "\r\n");
                        strBuf.append("Content-Disposition: form-data; name=\""
                                + inputName + "\"\r\n\r\n");
                        strBuf.append(inputValue);
                    } else {
                        strBuf.append("\r\n").append("--").append(BOUNDARY).append(
                                "\r\n");
                        strBuf.append("Content-Disposition: form-data; name=\""
                                + inputName + "\"\r\n\r\n");

                        strBuf.append(inputValue);
                    }

                    i++;
                }
                out.write(strBuf.toString().getBytes());
            }

            // file
            if (fileMap != null) {
                Iterator iter = fileMap.entrySet().iterator();
                while (iter.hasNext()) {
                    Map.Entry entry = (Map.Entry) iter.next();
                    String inputName = (String) entry.getKey();
                    String inputValue = (String) entry.getValue();
                    if (inputValue == null) {
                        continue;
                    }
                    File file = new File(inputValue);
                    String filename = file.getName();
                    String contentType = new MimetypesFileTypeMap().getContentType(file);
                    if (contentType == null || contentType.equals("")) {
                        contentType = "application/octet-stream";
                    }

                    StringBuffer strBuf = new StringBuffer();
                    strBuf.append("\r\n").append("--").append(BOUNDARY).append(
                            "\r\n");
                    strBuf.append("Content-Disposition: form-data; name=\""
                            + inputName + "\"; filename=\"" + filename
                            + "\"\r\n");
                    strBuf.append("Content-Type: " + contentType + "\r\n\r\n");

                    out.write(strBuf.toString().getBytes());

                    DataInputStream in = new DataInputStream(new FileInputStream(file));
                    int bytes = 0;
                    byte[] bufferOut = new byte[1024];
                    while ((bytes = in.read(bufferOut)) != -1) {
                        out.write(bufferOut, 0, bytes);
                    }
                    in.close();
                }
                StringBuffer strBuf = new StringBuffer();
                out.write(strBuf.toString().getBytes());
            }

            byte[] endData = ("\r\n--" + BOUNDARY + "--\r\n").getBytes();
            out.write(endData);
            out.flush();
            out.close();

            // 读取返回数据
            StringBuffer strBuf = new StringBuffer();
            BufferedReader reader = new BufferedReader(new InputStreamReader(
                    conn.getInputStream()));
            String line = null;
            while ((line = reader.readLine()) != null) {
                strBuf.append(line).append("\n");
            }
            res = strBuf.toString();
            reader.close();
            reader = null;
        } catch (Exception e) {
            System.err.println("发送POST请求出错: " + urlStr);
            throw e;
        } finally {
            if (conn != null) {
                conn.disconnect();
                conn = null;
            }
        }
        return res;
    }

    public static void main(String[] args) throws Exception {
        OssPostObject ossPostObject = new OssPostObject();
        ossPostObject.PostObject();
    }

}

 

注意在pom.xml加上:
<dependency>
    <groupId>com.aliyun.oss</groupId>
    <artifactId>aliyun-sdk-oss</artifactId>
    <version>2.2.1</version>
</dependency>

 



------------------------------------------------------分隔符-----------------------------------------------------------

诚聘英才


阿里云函数服务是一个全新的,支持事件驱动编程模式的计算服务。 他帮助用户聚焦自身业务逻辑,以Serverless的方式构建应用,快速的实现低成本,可扩展,高可用的系统,而无需考虑服务器等底层基础设施的管理。 用户能够快速的创建原型,同样的架构能随业务规模平滑伸缩。让计算变得更高效,更经济,更弹性,更可靠。无论小型创业公司,还是大型企业,都受益其中。

我们的团队正在迅速扩张,求贤若渴。我们想寻找这样的队友:

  • 基本功扎实。既能阅读论文追踪业界趋势,又能快速编码解决实际问题。
  • 严谨的,系统化的思维能力。既能整体考虑业务机会,系统架构,运维成本等诸多因素,又能掌控设计/开发/测试/发布的完整流程,预判并控制风险。
  • 好奇心和使命感驱动。乐于探索未知领域,不仅是梦想家,也是践行者。
  • 坚韧、乐观、自信。能在压力和困难中看到机会,让工作充满乐趣!

如果您对云计算充满热情,想要构建一个有影响力计算平台和生态体系,请加入我们,和我们一起实现梦想! 

详见:http://www.atatech.org/articles/53851

将你的简历发送到shuting.yst@alibaba-inc.com,标题  应聘阿里云-姓名

如果你有自己的git地址或者个人博客,将会大大加分哦,一起在邮件中发给我吧~~~

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
4月前
|
缓存 安全 Java
7:Servlet表单-Java Web
7:Servlet表单-Java Web
33 0
|
1月前
|
弹性计算 前端开发 小程序
微信小程序上传文件至阿里云OSS直传(java后端签名+前端直传)
当前的通用文件上传方式是通过前端上传到服务器,再由服务器转存至对象存储。这种方式在处理小文件时效率尚可,但大文件上传因受限于服务器带宽,速度较慢。例如,一个100MB的文件在5Mbps带宽的阿里云ECS上上传至服务器需160秒。为解决此问题,可以采用后端签名的方式,使微信小程序直接上传文件到阿里云OSS,绕过服务器中转。具体操作包括在JAVA后端引入相关依赖,生成签名,并在微信小程序前端使用这个签名进行文件上传,注意设置正确的请求头和formData参数。这样能提高大文件上传的速度。
|
5月前
|
JSON 前端开发 Java
表单数据序列化,后台如何接收(java)
表单数据序列化,后台如何接收(java)
|
7月前
|
对象存储
阿里云OSS 服务端签名后直传之分片上传(结合element-ui的upload组件)
阿里云OSS 服务端签名后直传之分片上传(结合element-ui的upload组件)
274 0
|
2天前
|
存储 安全 API
对象存储OSS产品常见问题之在URL中包含签名如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
16 0
|
6月前
|
数据挖掘 Java 测试技术
无代码动态表单系统 毕业设计 JAVA+Vue+SpringBoot+MySQL(一)
无代码动态表单系统 毕业设计 JAVA+Vue+SpringBoot+MySQL
|
4月前
|
DataWorks 算法 对象存储
这个问题可能是由于DataWorks和OSS之间的签名算法不一致导致的
这个问题可能是由于DataWorks和OSS之间的签名算法不一致导致的
23 2
|
4月前
|
数据采集 JavaScript 前端开发
Java爬虫攻略:应对JavaScript登录表单
Java爬虫攻略:应对JavaScript登录表单
|
6月前
无代码动态表单系统 毕业设计 JAVA+Vue+SpringBoot+MySQL(二)
无代码动态表单系统 毕业设计 JAVA+Vue+SpringBoot+MySQL
|
7月前
|
存储 域名解析 安全
Nest 实现OSS 服务端签名直传并设置上传回调
Nest 实现OSS 服务端签名直传并设置上传回调
347 0

相关产品

  • 对象存储