openpilot 是 comma 公司开源的一个自动驾驶辅助系统,包含 软件 和 硬件 两部分,其中软件和第一代硬件都是开源的,可以在 github 上找到。

Openpilot 的主要特性包括哪些?

Openpilot 官方版本支持 车道保持 、ACC巡航自动辅助变道

车道保持:控制方向盘,使车辆保持在左右两车道正中间。

ACC巡航:检测前车、障碍物,根据前车速度调节车速(油门、刹车),与前车保持安全距离。

自动辅助变道:当驾驶员需要切换车道时,需要打开转向灯(常亮),确认变向车道安全后,然后朝变道方向轻推方向盘,车辆将驶向旁边车道,变道完成后,需要驾驶员关闭转向灯。

  • 0.6.4 之后的版本在测试过程中发现,如果没有车道线情况下,会跟随前车轨迹行驶

Openpilot 和雅阁原厂 Honda Sensing 对比测试

该技术利用人工智能对人脸进行更换,声音进行合成,几乎以假乱真。


Youtube视频: This AI Makes “Audio Deepfakes” – YouTube





视频描述:

Check out Weights & Biases and sign up for a free demo here: https://www.wandb.com/papers

The paper “Neural Voice Puppetry: Audio-driven Facial Reenactment” and its online demo are available here:
Paper: https://justusthies.github.io/posts/n…
Demo – **Update: seems to have been disabled in the meantime, apologies!** : http://kaldir.vc.in.tum.de:9000/

Watch these videos in early access on our Patreon page or join us here on YouTube:
https://www.patreon.com/TwoMinutePapers
https://www.youtube.com/channel/UCbfY…

We would like to thank our generous Patreon supporters who make Two Minute Papers possible:
Alex Haro, Alex Paden, Andrew Melnychuk, Angelos Evripiotis, Anthony Vdovitchenko, Benji Rabhan, Brian Gilman, Bryan Learn, Daniel Hasegan, Dennis Abts, Eric Haddad, Eric Martel, Evan Breznyik, Geronimo Moralez, James Watt, Javier Bustamante, Kaiesh Vohra, Kasia Hayden, Kjartan Olason, Levente Szabo, Lorin Atzberger, Lukas Biewald, Marcin Dukaczewski, Marten Rauschenberg, Maurits van Mastrigt, Michael Albrecht, Michael Jensen, Nader Shakerin, Owen Campbell-Moore, Owen Skarpness, Raul Araújo da Silva, Rob Rowe, Robin Graham, Ryan Monsurate, Shawn Azman, Steef, Steve Messina, Sunil Kim, Taras Bobrovytsky, Thomas Krcmar, Torsten Reil, Tybie Fitzhugh.
https://www.patreon.com/TwoMinutePapers

Meet and discuss your ideas with other Fellow Scholars on the Two Minute Papers Discord: https://discordapp.com/invite/hbcTJu2

Károly Zsolnai-Fehér’s links:
Instagram:
https://www.instagram.com/twominutepa…
Twitter:
https://twitter.com/karoly_zsolnai
Web:
https://cg.tuwien.ac.at/~zsolnai/

智能机器时代的数字艺术(有中文字幕)

Art in the age of machine intelligence | Refik Anadol – YouTube

能否用机器来展现一个人的记忆?如果成堆的数据能够被形象化的看见?比如推特点赞数分布等。
能否用这些数据当做颜料和画笔来作画呢?比如用点赞数来诱导山川风景的变化。
还可以利用多台投影仪组合,打造建筑艺术。利用体感器打造人机交互艺术……





作者简介:

Refik Anadol是土耳其多媒体艺术家兼导演、谷歌艺术和机器智能项目驻场艺术家(Google’s Art and Machine Intelligence Artist Residency) ,他运用实时音乐与视觉特效打造公共艺术雕塑、呈现沉浸式感官体验。他的作品是对数字媒体与物理实体互动关系的探索,重新定义了建筑结构与媒体艺术的紧密关系。

作者主页:Refik Anadol – Refik Anadol https://refikanadol.com/

转载自:Getting Started with Kinect and Processing | Daniel Shiffman


Getting Started with Kinect and Processing

Kinect and Processing

The Microsoft Kinect sensor is a peripheral device (designed for XBox and windows PCs) that functions much like a webcam. However, in addition to providing an RGB image, it also provides a depth map. Meaning for every pixel seen by the sensor, the Kinect measures distance from the sensor. This makes a variety of computer vision problems like background removal, blob detection, and more easy and fun!

The Kinect sensor itself only measures color and depth. However, once that information is on your computer, lots more can be done like “skeleton” tracking (i.e. detecting a model of a person and tracking his/her movements). To do skeleton tracking you’ll need to use Thomas Lengling’s windows-only Kinect v2 processing libray. However, if you’re on a Mac and all you want is raw data from the Kinect, you are in luck! This library uses libfreenect and libfreenect2 open source drivers to access that data for Mac OS X (windows support coming soon).

阅读全文

OpenNI简介

(该简介内容来源于openNI入门简介

什么是 OpenNI?他是「Open Natural Interaction」的缩写,大致上可以翻译为「开放式自然操作」;而所谓的 NI 又包含哪些东西呢?OpenNI 对自然操作(Natural Interaction,以下简称 NI)的定义包含了「语音」、「手势」、「身体动作」等等,基本上就是比较直接、操作者身上不需要其它特殊装置的操作方式了。

         OpenNI 本身则是定义了撰写自然操作程序所需要的 API,提供一个多语言(主要是 C/C++)、跨平台的 framework;藉此提供了一个标准的接口,让程序开发者要使用视觉、声音相关感应器,以及对于这些数据、分析的中介软件(middleware)时,可以更为方便。
下方则是 OpenNI 的基本架构图:

 

上面的架构图基本上分为三层,最上层是应用程序(Application),也就是我们这些程序开发者自己要撰写的部分;最下方的一层则是硬件的部分,目前 OpenNI 支持的硬件,包含了:3D Sensor、RGB Camera、IR Camera、Audio Device 这四类。不过以目前来说,会用 OpenNI 的人,主要应该就是用 Kinect 以及Xtion了。

OpenNI 2 SDK Binaries & Docs:OpenNI 2 Downloads and Documentation | The Structure Sensor

一个网友的学习笔记,来自于 OpenNI – 随笔分类 – tornadomeet – 博客园 (cnblogs.com)

笔记目录:

Kinect+OpenNI学习笔记之1(开发环境的建立)

Kinect+OpenNI学习笔记之2(获取kinect的颜色图像和深度图像)

Kinect+OpenNI学习笔记之3(获取kinect的数据并在Qt中显示的类的设计)

Kinect+OpenNI学习笔记之4(OpenNI获取的图像结合OpenCV显示)

Kinect+OpenNI学习笔记之5(使用OpenNI自带的类进行简单手势识别)

Kinect+OpenNI学习笔记之6(获取人体骨架并在Qt中显示)

Kinect+OpenNI学习笔记之7(OpenNI自带的类实现手部跟踪)

Kinect+OpenNI学习笔记之8(Robert Walter手部提取代码的分析)

Kinect+OpenNI学习笔记之9(不需要骨骼跟踪的人体手部分割)

Kinect+OpenNI学习笔记之10(不需要骨骼跟踪的人体多个手部分割)

Kinect+OpenNI学习笔记之11(OpenNI驱动kinect手势相关的类的设计)

Kinect+OpenNI学习笔记之12(简单手势所表示的数字的识别)

Kinect+OpenNI学习笔记之13(Kinect驱动类,OpenCV显示类和手部预分割类的设计)

Kinect+OpenNI学习笔记之14(关于Kinect的深度信息)

 

百度百科的简介

TouchDesigner 是一个可视化编程的开发平台,可以创建实时的视觉及新媒体创作,主要用于实时交互新媒体创作。其应用场景包括:创建可互动的新媒体系统、建筑投影、VJ,还是快速的制作创意原型等等。
因为其提供一种基于节点式的可视化编程环境。不用敲代码,通过创建节点并且连线,就可以创作出视觉出彩的作品。
TouchDesigner 功能元件主要分为6大类:COMP, TOP, CHOP, SOP, DAT, MAT,对于不同方向的运用。比如TOP内的控制器主要用于处理图像及影像,而SOP内的控制器主要用于3D的处理。
TouchDesigner 现支持 Windows、Mac OS 两种系统。


两个主要网站

阅读全文

官网:Digital worlds that feel human | Ultraleap

面对开发人员的网页:Leap Motion Developer

对比:Tracking | Ultraleap Stereo IR 170 Evaluation Kit | Ultraleap

Stereo IR 170 Camera Module 开发板
Stereo IR 170 Camera Module 开发板

 

开发板与 leap motion 的功能对比
开发板与 leap motion 的功能对比