备案控制台
探索云世界
开发者社区 人工智能 文章 正文

扩大现实在Xamarin.Android与ARCore

2017-11-01 1111
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 现在，您已经有机会通过ARKit在Xamarin iOS应用程序中增加现实，现在是探索Google在Xamarin Android应用程序中对AR的影响力的时候了。新的ARCore SDK为增强现实功能提供API，例如运动跟踪，平面检测和光估计。
现在，您已经有机会通过ARKit在Xamarin iOS应用程序中增加现实，现在是探索Google在Xamarin Android应用程序中对AR的影响力的时候了。
新的ARCore SDK为增强现实功能提供API，例如运动跟踪，平面检测和光估计。 这些是您将用于向您的Android应用添加AR体验的构建块。

入门

ARCore目前只能在精选设备上使用，例如Google Pixel，Google Pixel 2和Samsung Galaxy S8。
为了使用ARCore，您需要通过下载并安装arcore-preview.apk来准备设备。
在您设置ARCore开发设备后，您需要安装ARCore预发行NuGet软件包。

ARCore API基础知识

为了帮助您检测表面放置对象并计算其相对于相机的空间位置，ARCore使用几种基本类型。

  • 会话对象：您与ARCore的主要交互点。它将通过跟踪您添加的任何锚点，引擎检测到的表面以及设备的当前快照来帮助管理AR状态。
  • 平面：SDK检测到的表面，您可以在其上放置锚点来描述物体的固定现实位置（包括其方向）。当前面向上和向下的表面可以单独检测（考虑地板和天花板）。
  • 会话：当您调用.Update（）返回一个帧对象时，AR状态的当前快照。
  • 框架：方便的HitTest（..）方法，可以帮助确定显示屏上的抽头坐标是否与任何平面相交。每个框架还包含有关摄像机方向和与现实世界的关系的信息，并帮助计算投影矩阵，以向用户显示视觉表示。
  • SDK的另一个有趣的功能是从给定的帧获取LightEstimate的能力。该估计值包括摄像机视图的像素强度。

基本演练

我们已将HelloAR样本移植到Xamarin，您可以在GitHub上查看！ 现在我们来看一下这个例子中的一些基本事情。
首先，在您的活动中，您需要在OnCreate中创建一个会话，并确保运行时在设备上支持ARCore：

点击(此处)折叠或打开

  1. var config = Config.CreateDefaultConfig();
  2. session = new Session(this);
  3.  
  4. // Make sure ARCore is supported on this device
  5. if (!session.IsSupported(config)) {
  6.     Toast.MakeText(this, "ARCore unsupported!", ToastLength.Long).Show();
  7.     Finish();
  8. }



请记住，您还需要请求Android.Manifest.Permission.Camera权限才能向用户显示实况相机馈送/增强现实视图。 在“HelloAR”示例中，我们使用GLSurfaceView向用户呈现相机和增强。 确保您设置了GL Surface，或者查看示例代码中的操作。
在会话运行中，我们可以在GL表面的OnDrawFrame实现中获取AR系统状态的快照。 在我们检查以确保帧处于跟踪状态之后，我们可以检查任何命中结果，并且假设它们与飞机相交，在飞机上添加锚点。

点击(此处)折叠或打开

  1. // See the PlaneAttachment class from the sample
  2. // This helps associate Anchors with Planes they are attached to
  3. ListPlaneAttachment> planeAttachments = new ListPlaneAttachment>();
  4. void OnDrawFrame (IGL10 gl)
  5. {
  6.     var frame = session.Update();
  7.  
  8.     // You could keep track of taps by queueing up
  9.     // MotionEvent's from a tap gesture recognizer
  10.     var tap = motionEventsQueue.Dequeue();
  11.  
  12.     // Make sure we've got a tap and are in a tracking state for our frame
  13.     if (tap != null && frame.GetTrackingState() == Frame.TrackingState.Tracking) {
  14.         // Look at each hittest result
  15.         foreach (var hit in frame.HitTest(tap)) {
  16.             // We could get PointCloudsHitResult as well, check for Plane
  17.             var planeHit = hit as PlaneHitResult;
  18.             if (planeHit != null && planeHit.IsHitInPolygon) {
  19.                 // Create a new anchor
  20.                 var anchor = session.AddAnchor(hit.HitPose);
  21.                 // Keep track of our anchors and the planes they are attached to
  22.                 planeAttachments.Add(new PlaneAttachment(planeHit, anchor))
  23.             }
  24.         }
  25.     }
  26. }



我们还想在我们的绘图方法中渲染我们场景中的各种对象。 HelloAR示例具有各种渲染器，可以根据从框架计算出的投影进行重度OpenGL提升，并实现此目的：

点击(此处)折叠或打开  

  1. // Get projection matrix.
  2. float[] projectionMatrix = new float[16];
  3. session.GetProjectionMatrix(projectionMatrix, 0, 0.1f, 100.0f);
  4.  
  5. // Get camera matrix and draw.
  6. float[] viewMatrix = new float[16];
  7. frame.GetViewMatrix(viewMatrix, 0);
  8.  
  9. // Draw the detected planes
  10. planeRenderer.DrawPlanes(session.AllPlanes, frame.Pose, projectionMatrix);
  11.  
  12. // Get lighting from avg intensity of the image
  13. var lightIntensity = frame.LightEstimate.PixelIntensity;
  14.  
  15. // Draw all of our anchors attached to planes
  16. float scaleFactor = 1.0f;
  17. float[] anchorMatrix = new float[16];
  18.  
  19. foreach (var planeAttachment in planeAttachments) {
  20.     // Only draw attachments currently tracking
  21.     if (!planeAttachment.IsTracking)
  22.         continue;
  23.  
  24.     // Get the current combined pose of an Anchor and Plane in world space
  25.     planeAttachment.GetPose().ToMatrix(anchorMatrix, 0);
  26.  
  27.     // Update and draw the model
  28.     objectRenderer.UpdateModelMatrix(anchorMatrix, scaleFactor);
  29.     objectRenderer.Draw(viewMatrix, projectionMatrix, lightIntensity);
  30. }


解剖样本后，您可以看到实际的ARCore代码相对简单，大部分示例代码是关于OpenGL渲染的。
再次，请确保在GitHub上查看完整的HelloAR示例！ 我们期待着您的Xamarin Android应用程序中使用ARCore创建的增强体验体验。

img_e25d4fb2f8de1caf41a735ec53088516.pngARCore.zip

文章标签：
vr&ar
Android开发
开发工具
wangccsy
目录
相关文章
wangccsy
|
数据库 Android开发 数据库管理
【Xamarin.Android】使用实体框架构建Android应用程序
数据是任何应用程序开发的一个重要组成部分，移动应用程序也不例外；作为开发人员，处理数据是我们的一个重要决策，对移动应用开发也是如此。从键值对存储到SQLite，有许多选项可用，但是，.NET开发者往往特别熟悉的是实体框架。
wangccsy
1457 0
wangccsy
|
Android开发 iOS开发
【Xamarin.Android】应用消费品
如果您正在构建一个需要购买多次内容的游戏或应用程序，你需要整合应用内购买消费品（IAPS）到您的应用程序。在我的前一篇IAP博文中，我教你设置你的应用程序为IAP交易基础， 添加IAP项目到谷歌应用商店或者iTunes连接，并介绍了Xamarin应用收费插件，大大简化了添加IAP应用程序的代码的过程。
wangccsy
1152 0
杰克.陈
|
开发工具 Android开发 Java
vs2015 Xamarin.Android安装
原文:vs2015 Xamarin.Android安装  Xamarin.Android 安装步骤，以vs2015为例   1，安装vs2015中的跨平台项，但是安装在国内肯定失败，因为需要到谷歌下载 当我们下载好vs2015准备开发Android时，发现会报一个错，不能为null 解决...
杰克.陈
1196 0
杰克.陈
|
Android开发
Xamarin.Android 如何使用Assets目录下的文件
原文: Xamarin.Android 如何使用Assets目录下的文件 个人原创，转载注明出处：http://blog.csdn.
杰克.陈
1153 0
杰克.陈
|
Android开发
Xamarin.Android开发实践（一）
原文:Xamarin.Android开发实践（一） 一、准备工作 1.创建一个空的解决方案，并命名为Phoneword     2.右击解决方案 新建-》新建项目 并命名为Phoneword_Droid   二、界面 1.
杰克.陈
1192 0
杰克.陈
|
JSON Android开发 数据格式
Xamarin.Android开发实践（四）
原文:Xamarin.Android开发实践（四） Xamarin.Android下获取与解析JSON 一、新建项目 1.新建一个Android项目，并命名为为NetJsonList   2.右击引用，选择添加引用，引用System.Json.dll   二、同步请求 既然是跨平台，我们自然不能按照java下的方式进行编写，否则如何跨平台呢，所以我们需要使用Syste.Net命名空间下的两个类：HttpWebRequest和HttpWebResponse。
杰克.陈
1094 0
杰克.陈
Xamarin.Android开发实践（二）
原文:Xamarin.Android开发实践（二） 一、准备 开始学习本教程前必须先完成该教程http://www.cnblogs.com/yaozhenfa/p/xamarin_android_quickstart.html 否则将无法继续。
杰克.陈
973 0
杰克.陈
|
Android开发 定位技术 Windows
Xamarin.Android开发实践（三）
原文:Xamarin.Android开发实践（三） 一、前言 用过Android手机的人一定会发现一种现象，当你把一个应用置于后台后，一段时间之后在打开就会发现应用重新打开了，但是之前的相关的数据却没有丢失。
杰克.陈
1082 0
杰克.陈
|
Android开发 Java
Xamarin.Android开发实践（九）
原文:Xamarin.Android开发实践（九） Xamarin.Android之ActionBar与菜单 一、选项卡 如今很多应用都会使用碎片以便在同一个活动中能够显示多个不同的视图。在 Android 3.0 以上的版本中，我们已经可以使用ActionBar提供的Tab来实现这种效果，而不需要我们自己去实现碎片的切换。
杰克.陈
1257 0
杰克.陈
|
Android开发
Xamarin.Android开发实践（五）
原文:Xamarin.Android开发实践（五） 一、服务的生命周期 服务与活动一样，在它的整个生命周期中存在着一些事件，下图可以很好解释整个过程以及涉及到的方法： 在真实的使用中，Service来还包含一个OnBind方法，并且必须要使用该方法，但是只要返回NULL即可，除非当前服务是一个绑定服务，那么就要返回实现了IBinder的实例。
杰克.陈
1226 0