资讯

您的位置: 首页>资讯>新闻

前沿 | 麻省理工学院媒体实验室编织了一个富有表现力的可穿戴 MIDI 键盘

2021.06.28   浏览:1056   资讯来源:深智联

在这项工作中,MIT媒体实验室开发了一种通过数字针织技术制造的基于纺织品的交互式表面。其原型探索嵌花、互锁图案以及一系列功能性和非功能性纤维,以创造一种钢琴图案纺织品,用于表现力和精湛的声音交互。我们将导电、热致变色和复合纱线与高柔度涤纶纱线相结合,开发了 KnittedKeyboard,既具有柔软的物理特性,又具有灵敏的传感和显示功能。单个按键和按键组合可以同时感应离散的触摸以及连续的接近度和压力。KnittedKeyboard 使表演者能够在探索电子纺织品的无缝纹理和材料时体验基于织物的多模式交互。

说明 KnittedKeyboard II 的灵活性、可拉伸性和耐磨性及其多种游戏模式。

受到电子音乐控制器的飞跃发展以及针织面料的视觉和触觉吸引力的启发,麻省理工学院媒体实验室的 Irmandy Wicaksono 将两者结合起来创造了 KnittedKeyboard II。

KnittedKeyboard II 是使用工业数字针织机创建的,在非导电蓝色聚酯纤维的背景下,用色导电热塑性塑料制作了带有凸起钢琴式键盘的织物围巾。

KnittedKeyboard II 可以像围巾一样挂在肩上,也可以连接到运行音乐制作软件的笔记本电脑,用作富有表现力的 MIDI 键盘。

五八度键盘可以像普通钢琴一样弹奏,但麻省理工学院团队(还包括 Joseph A. Paradiso 教授和 Mike Hao Jiang)还开发了 MIDI 复音表达功能,通过挤压、拉伸或扭曲来操纵音符针织面料,以及类似 Theremin 的手势控制的接近感应。

每个键都充当一个电极,在键盘区域上方产生电磁场,让设备既能感知物理接触,也能通过压阻层来记录压力和拉伸,并在检测到玩家挥动时触发手。

KnittedKeyboard II 可以感知空气中的身体接触和手势。

传感机制

传感机制基于电容式和压阻式传感。每个按键都充当一个电极,依次充电和放电。这会产生一个可以被手的接近扰乱的电磁场,使我们不仅能够检测接触式触摸,还能够检测非接触式接近手势,例如在空中悬停或挥手、接触式触摸,以及计算打击速度。下面的压阻层可以测量施加在针织键盘上的压力和拉伸。所有传感器数据都由中央微处理器转换为乐器数字接口 (MIDI) 消息,这些消息将对应于某些音色、动态和时间变化(滤波器共振、频率、滑音、混响、放大器、失真等) ,以及弯音。

KnittedKeyboard II 电子织物层的分解图。

KnittedKeyboard II 传感模式

传感器捕获的所有数据都被转换为 MIDI 信号,并且可以映射到音乐制作软件中的参数、声音和效果,例如在笔记本电脑或计算机上运行的 Ableton Live。

这项工作是 2017 年的FabricKeyboard和去年来自同一团队的KnittedKeyboard项目的延续,因此这只是一项研究——但这两个版本都震撼了平坦的演奏表面,这种最新的风格得益于凸起的键。没有提到 KnittedKeyboard II 如何供电或如何连接到运行 MIDI 软件的计算机,但之前的版本使用无毛 MIDI 作为连接 USB 端口的桥梁,这里很可能使用了类似的东西。

压力、拉伸和接近手势的传感器数据可视化。

虽然它已经具有您可能会在大街音乐商店的电子乐器部分找到的新颖可穿戴设备的外观,但没有关于该项目是否会被改进为市售产品的消息。但是您可以在下面的视频中看到和听到 KnittedKeyboard II 的运行情况,其中包括专门为名为Fabric of Time and Space的可穿戴乐器编写的音乐。

这项工作更接近基于织物的无缝交互式表面的愿景,这不仅适用于新型音乐控制器,还适用于可穿戴设备、智能对象和响应环境。下划线技术将能够进一步探索利用材料独特的机械结构以及针织传感器的固有电气特性的柔软和可塑的手势界面。