|
|
在這篇文章中，咱們会商设计中的人工智能問題（AI in Design）。家喻户晓，人工智能 AI 的终极目標是讓呆板具有與人類雷同的辨認、阐發、理解乃至是决议计劃的能力，從而可以或许取代人類解决問題、完成中壢當鋪,使命。可是，现阶段的人工智能，即便是在工業场景中已得到了较好的推行利用的人工智能技能，都属于弱人工智能。
操纵大量的数据進修、预练習、参数调優、微调、模子架构调解等等改良或處置手腕，這些人工智能的模子或法子可以或许依靠数据或履历主動完成一些使命，可是却没法具有人類的主觀能力，比方對事物、事務或情况的感觉和感知能力。它們不克不及够自力思虑，是以，也不克不及真正具有像人類同样的推理、類比等抽象思惟的能力。
甚麼是设计？百科中如许写道：「设计是有方针有規劃的举行技能性的创作與创意勾當 ， 是把一種假想經由過程公道的计劃、严密的規劃、經由過程各類方法表達出来的進程，可以把任何造物勾當的規劃技能和規劃進程理解為设计。」设计触及了浩繁范畴，比方：商贸范畴（Co妹妹erce），包含產物设计、包装设计等等；利用范畴（Applications），包含遊戲设计、UI 设计等等；转達（Co妹妹unications）范畴，包含字體设计、音效设计、图形设计、版面设计等等；科學和数學范畴（Scientific and Mathematical），包含组合设计、實行设计等；物資范畴（Physical），包含打扮设计、情况设计、工業设计等等。無論终极的利用范畴是甚麼，设计都有一個關頭的构成「人類的一種假想」。這類假想是典范的人類思惟和思惟，是彻底抽象的存在，也是目古人工智能所没法替换的關頭。是以，在设计中引入人工智能仍面對很大的挑战。
不外，虽然在设计中引入人工智能面對不少問題，但人工智能仍是有其固有的上風的。一是，人工智能具备跨越人類的影象能力，可以或许随時、准确的挪用大量的履历来辅助完成使命；二是，人工智能具备超强的计较能力，可以或许在短期内完成繁杂的计较使命；三是，人工智能法子不受人類主觀情感影响，可以或许相對于公允的評估设计方案。是以，在设计中引入人工智能将可以或许不竭地堆集并有用操纵履历常識，且可以或许不竭地、快速且高效地優化设计方案，和可以或许不竭地摸索并找到最好的设计方案。
本文按照近期颁發的四篇論文，详细探究了人工智能在布局设计、產物设计、電路设计、排版版面设计中的利用。這四個设计利用范畴的使命區分很是大，以是利用人工智能的法子也很是分歧。咱們将在後续章節中详细阐發分歧设计使命的特色、需求，和若何有用的将人工智能引入到设计中。
一、布局设计中的 AI
本文重點存眷的是布局设计問題，详细是指病院病房的房間结构设计 [1]。患者在住院時代呈现颠仆的环境会紧张影响患者的预後，致使病發率增长、住院時候耽误和糊口質量低落等問題。别的，不需要的颠仆也会给患者和醫療體系带来庞大的經濟本錢。致使患者颠仆的缘由有不少。此中，情况風险（Environmental Hazards）和變乱（Accidents）已被肯定為最多见的颠仆缘由。
文献[6] 中提出了一種斟酌房間结构的病人在病院房間内天然行走時颠仆危害的怀抱法子。该法子經由過程斟酌房間设计身分，包含照明、地板類型、門的操作 (摆動或滑動) 和房間内的支持物 (如家具、扶手、床栏等) 来估量病人在房間中的颠仆危害。但是，作者所提出的怀抱尺度所界說的颠仆危害與房間结构之間的公式瓜葛繁杂且不直觀，同時不克不及手動调解结构以低落颠仆危害。
本文在 [6] 中颠仆模子的根本上，采纳無梯度優化技能主動天生病院房間结构的设计方案，目標是可以或许經由過程改良房間结构设计的方法低落患者颠仆的危害（见图 1）。详细来讲，作者對摹拟退火法子举行了调解，以優化多個真實世界病院房間的特性，包含病人床、沙發、病人椅、输液杆、马桶和水槽等物體的位置，房間内照明的位置，和主門和浴室門的位置等，即，引入人工智能辅助举行房間结构的布局设计。
图 1. 传统和優化的房間结构對颠仆危害的評價。图 (a) 和(b)為房間示用意，图 (c) 和(d)為颠仆危害模子評估的响应颠仆危害热力求。
1.1 布局设计中的人工智能先容
布局设计中的人工智能與计较機化结构计劃（Computerized layout planning）問題相干。计较機化结构计劃是指在知足一系列尺度和束缚前提和 / 或優化一些方针的同時，操纵计较機来分派空間。自 20 世纪 60 年月基于法则的计较機结构计劃理念初见眉目以来，對计较機结构计劃的需求不竭增长。尔後，人們在计较機结构计劃方面做了不少事情，包含一些贸易化產物。比方，Spacemaker（）、Planner 5D（）等等。這些軟件包操纵数學建模、人工智能和修建都会成长方面的技能，协助修建師设计多修建室第用地和高层计劃。
在空間分派和结构计劃中，人們存眷的是损耗空間的物體和資本的物理位置放置。除此以外，计较機结构计劃也常利用于室内设计中的物體安排問題。咱們比力認識的有宜家開辟的 IKEA PLACE 平台，經由過程手機摄像頭扫描的區域内，虚拟安排公司的產物（Ikea apps - ikea. .）。
病院科室结构计劃是醫療機构计较機结构计劃中的重點钻研范畴之一。本文重點会商了病院房間内家具、照明和門洞的摆放，目標是經由過程公道的计劃结构设计，以低落患者颠仆的危害。
1.2 法子先容
一個典范的单人床病院房間由两個子房間构成，一個是主房間，包含了病人、访客和临床區域。一個是浴室，包含了茅厕、淋浴和洗脸池。作為本文法子的输入, 房間鸿沟的几何外形是按照修建學的请求肯定的（本文利用的房間几何外形见图 1）。對付每個子房間，必需安排特定的家具物品，必需包括光源来照亮房間，必需有毗連浴室與主房間的門廊和毗連主房間與走廊的門廊。本文模子的方针是對家具、光源和門廊的位置设计举行了優化，以低落患者颠仆的危害。
借用束缚知足問題中的符号，作者将本文法子的输入情势化為三個调集：（1）房間的一组 n 個可變工具（如：家具、光源和門）：X={x_0, x_1,...,x_n}；（2）為 X 中每一個變量界說的一组域：D={D_0, D_1,..., D_n}；（3）一组界說在 X 中變量上的束缚前提：C，此中，每一個束缚前提均可以触及任何變量的子集。對付 X 中的每一個工具 x_i，将其在病院房間中的位置参数化為设置装备摆设向量 d_i∈ D_i。然後，将全部病院房間的结构参数化為向量 l= [(d_0)^T , (d_1)^T , ... (d_n)^T]^T ，即 X 中每一個工具的设置装备摆设向量的并集。本文優化方针是在知足束缚前提的条件下，肯定病院房間的详细结构 l，同時将「與患者颠仆危害」相干的函数 l 最小化。
房間的总體颠仆危害散布是按照之前對病院颠仆危害的钻研，计较出病人的一系列外在身分的函数。该颠仆危害模子斟酌了受房間内举措措施位置影响的静态和動态身分，并供给了两個颠仆危害評估：(1) 房間基線評估，按照如下静态身分计较：地板類型、照明前提、門的操作、四周物體 (如扶手、椅子、醫療架、沙發、水槽、马桶和床) 的@支%tT1S8%持或伤%o6237%害@感化，從而得出全部房間的危害散布。(2)基于活動的評估，斟酌患者的步态動态特征，如回身角度和勾當類型，如坐到站、走、回身、站到坐等。颠仆危害模子的完备流程见图 2。
图 2. 完备的颠仆危害模子流程图[6]
颠仆危害模子的输入為有關房間的细節，如地板概况類型和房間的结构，包含照明、所有物體的位置和设置装备摆设和門的位置。输出是一個危害散布 r( l )，界說為離散化病房的網格图中每一個元素的值。在模子的基線层中，每一個網格的基值為 1，然後按照間隔近来的支持物體的間隔和照明、地板、門的操作因夙来更新该值。對付基于活動的評估，该模子利用一组预先界說的场景，如患者從床上到茅厕的转换，然後展望每一個场景的物體之間的样本轨迹。摹拟轨迹所颠末的每一個網格单位城市遭到详细的摹拟勾當（如坐立）和動态身分（如角速率和转弯角度）的影响。因為两個方针工具之間可能存在多個轨迹，是以模子会天生并評估摹拟患者轨迹的散布。連系基線和基于活動的評估危害曲線，获得全部房間的跌落危害散布。為此，计较基線跌落危害身分的均匀值和每一個網格单位上铺设的轨迹 / 勾當點的跌落危害。最後输出的是每一個網格单位的危害值。最後，可以将颠仆危害模子的输出可视化為病院房間结构的热力求，以显示颠仆危害值的散布环境（如图 1 所示）。
本文所利用的價格函数以下：
此中，α暗示用户指定的截止参数，用于肯定在散布中從哪里起頭斟酌曲線尾手下的區域，详细如图 3 所示。公式中的第三項暗示危害值高于α的網格单位的调集。斟酌曲線尾手下面积是財政危害辦理中的常见做法，即所谓的前提危害值。终极的價格函数就是颠仆危害散布的中位数、均匀值、尺度差和最大值的函数。
图 3. 颠仆危害散布的價格函数参数，显示中位数、最大值和高危害尾手下面积。
作者利用摹拟退火来優化 r( l )。摹拟退火是一種随機迭代優化法子。在每次迭代時，随機天生當前结构四周的结构，并評估其價格。若是新的结构比當前结构有所改良，则将其更新為當前最新结构。若是没有改良，按照 Metropolis 几率，依然可以接管它為最新结构：
此中，k 為 Boltzman 常数，T 為按照冷却規劃随時候衰减的温度值，c 代表與结构相干的價格值。具體的優化流程见 Algorithm 1。
在履行優化進程中，當同時天生随機的初始可行房間结构 (Alg.1 行 8) 和四周可行结构 (Alg.1 行 16，NearbyFeasLayout) 時，重要包管的是這些结构是可行的，即知足束缚集 C 中所有的束缚前提。在這两種环境下，作者采纳随機抽样與回溯的法子，在初始房間结构的天生進程中，從每一個變量的域中平均地随機采样。當天生现有结构的四周结构時，從以现有结构的设置装备摆设為中間的正态散布中對每一個變量的设置装备摆设举行采样，并為每一個變量界說尺度差（Alg.1 中的σ_r）。為了确保在此進程中知足束缚前提，作者操纵了回溯搜刮法子。回溯搜刮法子每次為一個變量赋值并查抄是不是知足束缚。當一個變量赋值违背束缚前提時，回溯搜刮法子從新采样，當一個變量没有正當的值可供赋值時，或在試图赋值该變量時發明已到達最大迭代次数或已花费最大時候時，该法子会回溯到從新赋值以前的變量。
图 4 给出了在病院房間中安排一個物體時的回溯示例。在图 4a 中，算法試图将此中一個物體安排在浴室中，但因為前面物體的存在致使它没法做到這一點。该法子回溯并斟酌更改先前安排物體的位置（图 4b）。最後，在知足束缚前提的环境下，算法樂成地将物體安排在房間里（图 4c）。图 5 描写了回溯算法的总體流程。
图 4. 物品安排步伐。(a) 先前安排的物體故障後续物體的可行安排。(b)回溯扭转先前安排的工具的位置。(c) 所有物體都以知足束缚前提的方法安排。
图 5. 回溯法子流程图
1.3 實行先容
為了評估所提出的模子的機能，作者優化了两種常见類型的病院房間的内部设置装备摆设：阁房（Inboard rooms）和外室（Outboard rooms）。對付阁房和外室的實行，界說 X 包含：由沙發、病床、病椅、探视椅、挪動醫療架、马桶和水槽构成的家具；主室和洗手間的吸顶灯；毗連洗手間與主室和主室與走廊的門。
在图 6 和图 7 中，作者别離展现了優化前和優化後具备代表性的阁房和外室房間结构，和它們相干的颠仆危害得分热力求。在文章最起頭的部門展现的图 1 中，作者也给出了雷同的结构设计。作者發明，與阁房房間比拟，優化外室房間時的本錢值更低。
图 6. 颠仆危害的房間结构評估和優化。(a)和 (b) 為算法天生的阁房房間示用意。(a)是初始房間结构的實例，(b)是此中一次運行的優化房間结构。(c)和 (d) 是颠仆危害模子評估的响应颠仆危害热力求。图 (c) 和(d)中的色彩条数值越高，阐明颠仆危害越高。
图 7. 颠仆危害的外室房間结构評估和優化。(a)和 (b) 為算法天生的阁房示用意。(a)是初始房間结构的實例，(b)是此中一次運行的優化房間结构。(c)和 (d) 显示了由颠仆危害模子評估的响应颠仆危害热力求。色彩条上的数值越高，阐明颠仆危害越高。
二、產物设计中的 AI
2.1 產物设计中的人工智能先容
设计思惟是從终极用户的角度缔造立异產物的一個成熟進程，凡是被称為以用户為中間的设计（User-centered design）或以報酬中間的设计（Human-centered design）。這篇文章先容的就是咱們最認識的產物设计中的 AI[2]。虽然立异的设计思惟具备無可争议的长處，可是對付在線营業来讲，因為與產物開辟進程或呆板進修體系不兼容，今朝很难在此中引入设计思惟。本文的钻研目標是提出一個進程框架，将设计思惟與開辟進程連系起来，将人融入到设计進程的轮回（Loop）中。這就触及了人機回圈問題（Human-in-the-loop，HITL）。
人機回圈是人工智能的一個分支，它操纵人類和呆板智能来建立呆板進修模子。從本色上讲，人機回圈将主動化的問題從新界說為了人機交互（Human-Computer Interaction，HCI）设计問題。人機回圈将 「若何构建一個更智能的體系？」 的問題扩展到「若何将有效的、成心义的人機交互纳入體系中？」這類體系设计的目標是實现可以或许@加%H4妹妹6%强@或提高人類完成使命的能力的交互式呆板進修（Interactive Machine Learning），人機回圈作為一種東西經由過程智能地跟踪随時候的變革和中心成果，可以實现快速迭代、快速相应的反馈、自察和调試和後台@履%42ZyD%行和主%Htk92%動@化。關于人機回圈的問題，呆板之心以前有過专門的報导，感樂趣的读者可以查阅（）。
為甚麼将人機回圈整合到呆板進修體系中變得愈来愈首要？其根来源根基因是比年来人工智能钻研功效的爆炸式增加致使人們對這些钻研功效的有用性愈来愈猜疑。除對再现性和可诠释性的存眷，人們聚焦于一個新的存眷點：可控性，即必要将人整合到依靠于呆板進修成果的進程中，即人機回圈。
本文所提出的進程框架应居心理丈量學来理解用户的设计感知，為後续的设计周期天生反馈，并渐渐更新呆板進修模子，以顺应在線利用顶用户偏好的快速變革。作者認為，今朝供给在線利用的公司没法施行设计思惟法子的内涵缘由可能在于對设计思惟進程的误会。比方，IDEO 在 2007 年引入的斯坦福 d.school 设计思惟進程[7]，劃定了一個由夸大、界說、构想、原型和測試五個進程阶段构成的轮回。很多公司的第一個误会就是輕忽了设计的周期性，将五個阶段一次性履行。此時，最後的測試阶段其實不会毗連到後续的進修周期。但是，周期性的特征可以很輕易地經由過程麻利進程（agile process）来實现，即迭代和增量開辟進程。第二個误会是企業未将设计思惟作為一個迭代進修周期来實现。设计思惟法子凡是将定性用户測試的样本量肯定為 5 到 10 人之間。因為測試阶段只履行一次，小样本量会致使反馈不具代表性，是以對產物决议计劃有危害。也正由于如斯，這些供给在線利用的公司和企業認為没法在其產物设计進程中引入设计思惟法子。
2.2 法子先容
本文提出了一個進程框架—人在進修轮回（Human-in-the-learning-loop，HILL）。如图 8 所示，它由一個设计思惟進程（Design sprint）构成，并归并到了一個麻利開辟進程中。该進程經由過程對用户反馈的定量丈量来取代定性的用户測試。這類更换可以或许為後续的進修周期供给可扩大的讲授反馈。
作者利用 HILL 设计周期（The HILL Design Cycles）進程代替了定性用户測試的定量生理丈量東西的设计感知。所天生的用户反馈用于练習呆板進修模子，并沿着四個设计维度（别致性、能量、简略性、東西性）引导後续的设计周期。将四维用户反馈映照為用户场景（User stories）和優先级（priorities），Design sprint 将用户反馈直接转化為實现進程。（Design sprint 是google開辟的基于麻利進程的设计思惟法子）。
图 8. HILL 進程框架：将终极用户的人機回圈集成到基于呆板進修的阐發進程中。
對付用户測試，團队起首肯定公司的终极用户池，并在设计 sprint 端约请该用户池中的一部門用户来完成在線查询拜访。在線查询拜访给出了在前面的设计 sprint 中發生的新原型（拜见图 9）。受邀的查询拜访介入者評估了设计感知丈量東西中關于展现的新原型的 12 個項目。别的，查询拜访還收罗了介入者的定性反馈，比方有關功效细節的問題等等。
麻利進程的重要特性是迭代和增量的開辟法子。這象征着產物開辟進程不是像瀑布模子那样由一系列长的後续阶段界說的，而是一系列称為迭代的短期周期。Scrum（一種最多见的麻利法子）称這些迭代為 sprint。google開辟了基于麻利進程的设计思惟法子，并称之為 Design sprint。施行團队可以按照客户對上一次 sprint 成果的反馈来界說當前 sprint 的范畴。如许，新的范畴就会被充分到用户场景（User stories）中，即從用户角度制订的需求。所有效户场景都将按照客户反馈肯定優先级。
图 9. 經由過程设计感知查询拜访举行用户測試。
本文經由過程如下方法對设计感知查询拜访的反馈举行阐發。按照别致性、能量刺激性、简略性、東西缔造性四個设计维度對用户反馈举行分组。對付每一個设计维度，计较其综合得分，并给出箱線图的可视化成果（图 10）。人機回圈部門是由人類質控工程師来實现的。質控工程師细心查抄所接管到的用户反馈的数据質量，抛弃掉無效数据，如异样值或包括强默许误差的反馈。這個数据清算進程對付只保存有用的新数据并将其添加到练習呆板進修模子的数据集中是相當首要的。所获得的模子可以作為快速仿真的预练習模子，以支撑原型决议计劃。
图 10. 基于设计感知阐發的设计维度反馈天生與呆板進修模子更新。
Design sprint 進程由四個设计维度组成，每一個设计维度對应 sprint 剧本中的一個種别（拜见图 11）。種别（比方简略性）對应@范%2RYwA%畴或营%V37bj%業@需求的高档抽象。團队按照设计维度的综合得分来分派每一個類此外優先级 --- 最低的得分给出最高的優先级，由于它揭露了最紧张的缺點。在设计维度的優先级降低時，團队决议在行将到来的 sprint 中處置哪些设计维度。對付這個决议，團队没必要斟酌施行的难易水平，由于後者反应在後面的事情量估算進程中。這象征着更易實现的用户场景将得到更少的事情量估量单元，是以更可能實现。
團队為選定的设计维度编写用户场景。比方，category simplicity 中的用户场景可以表述為「作為一個前端 web 用户，我但愿以尽量少的导航步调导航到我的小我页面」。在编写此類用户场景時，團队将定性用户反馈整合到用户场景的接管尺度中。比方，若是用户反馈表示色彩纷歧致，那末用户场景在 category simplicity 中的接管尺度可以表述為「查抄所有 UI 元素是不是来自頸椎病貼膏,不异的色彩方案」。
基于用户场景，團队履行麻利事情估算進程（Agile effort estimation process），并响应地调解 sprint 范畴。然後，履行使命分化（task breakdown），即團队成员将用户场景中界說的范畴分化為必需履行的小使命，以實现用户场景。使命分化以後，回首團队對當前 sprint 范畴的理解，并竣事 sprint 计劃（sprint planning）。
图 11. 基于设计维度反馈的 Sprint Planning。
團队是一個自组织的團队，它經由過程正常的麻利迭代方法来履行 Design sprint。在這個進程竣事時（拜见图 12），團队会在随後的查询拜访中展现其设计成果，這是由于用户必需可以或许從在線的利用显示中發明并把握利用的新功效。這類存眷必要履行分外的勾當，好比從分歧的视角拍摄照片或建造结果图，直到用户可以或许在他們的在線查询拜访显示中把握到新原型的要點（拜见图 12，图 12 中底部中心显示的原型）。
图 12. Design sprint 的新设计原型。
三、版面设计中的 AI
本文会商的是版面设计中视觉文本版面结构（Visual-textual presentation layouts）的主動天生問題[5]。跟着互联網的成长，人們對社交媒體無處不在的拜候和利用，使其建立和同享的富媒體（rich-media）内容比以往任什麼時候候都要多，不管是為了體驗同享仍是產物推行。公布富媒體内容的一個首要使命是设计一個由异构媒體元素（比方，图象和文本描写）构成的具备视觉吸引力的展现结构（Presentation Layout）。是以，视觉文本版面结构的设计無處不在，從现有的贸易印刷出书物，到在線数字杂志，再到小我媒體帖子。
如图 13 的示例。图 13（a）给出了利用本文提出的法子主動天生的结构，它可以或许反应出真實杂志封面中利用的很多设计原则，如图 13（b）所示。在各類视觉文本版面结构中，杂志封面表现了最周全的设计理念。本文提出了一個連系高档美學原则（自上而下的方法）和初级视觉特性（自下而上的方法）的版面结构计较框架。為了驗證本文提出的框架的有用性，作者從设计師供给的繁杂杂志封面中导出了一组模板，并将模板利用到计较框架中以天生响应的视觉文本结构。在本文提出的框架中，這些模板可以很輕易地點窜和扩大到其他出书物中。
图 13. 视觉文本版面展现结构示例：（a）按照本文法子主動天生的结构和（b）真實杂志封面的结构。本文事情方针是從给定的图象和文本主動建立一個专業的结构。
3.1 天生模板
本文起首生成為了一套主題相干的模板。這些模板可以或许用于在空間结构和色采和谐進程中引导设计，從而确保使人得意的结构機能。模板由两個方面界說：空間结构和主題相干气概。在空間结构中斟酌了黄金朋分散布的對称和不合错误称视觉均衡和空間的藝術性，并将主題相干的字體感情、字體巨细束缚、语义色采、色采和谐模子等融入到设计气概中。作者将版面元素界說為 「刊頭」、「題目」、「封面線」和「副題目」。對付每種類型的元素，作者在图象的百分比范畴内预先界說一些显示在黄色區域中的 mask 區域。在 mask 區域中斟酌了空間结构的美學原则。图 14 给出了 「時尚」 和「餐饮」主題的两個版面模板。图 14（b）的设计假如當一個显著的工具位于图象的左下角時，文本应當被限定在预界說的區域内，這些區域指导文本元素依照從上到下的次序举行展现。
图 14. （a）「時尚」和（b）「食物和饮料」模板中的示例。每一個模板都包含空間结构、字系统列、高度限定和语义色彩。所界說的空間结构中的文本區域可以按照图象首要性而變革。
作者界說了 16 種常见的空間结构，涵盖了 8 個最經常使用的主題。對丹參,付每一個主題，作者设计了 20 種语义色彩、4 種字體感情模板和一到两種色彩和谐模子的主題相干样式。并遵守如下几點设计原则：
文本信息完备性：要使杂志封面视觉完备，文本元素不该超越布景图象的鸿沟或互相堆叠。
视觉信息最大化：图象应调解到方针辨别率，同時保存首要的视觉信息（即图象區域），如人脸、文本、显著工具、人類介入區域等。别的，嵌入的文本元素不该遮挡显著區域。
空間结构的公道性：要建造出天然、吸惹人的杂志封面，文本元素的定位应遵守美學原则。比方，對称均衡遵守人類审美感知中的關頭法则，即文本应當安排在布景图象的空缺處。
感知一致性：首要的文本应當以更怪异的文本巨细、字體和更高的比拟度色彩，在不显著的區域中更有吸引力地显示出来。
色采和谐：從视觉感知的角度来看，文本元素的色采应當是调和的、吸惹人的。
文本信息的可读性：為了使读者一眼就可以理解，必要设置得當巨细的文本元素。同時，文本元素和布景图象之間的色彩比拟可以提大作本信息的可理解性。
3.2 计较框架
本文设计了一個计较框架来整合版面设计的所有關頭元素，包含版面模板、高档美學原则（自上而下的方法）和初级图象特性（自下而上的方法）。作者将排版問題描写為一個模板束缚的能量最小化問題。
除上一節中会商的预界說的结构模板外，主動天生视觉文本结构的進程還应當斟酌到基于内容的图象特性（如显著性图）。經由過程連系高档模板束缚和初级图象特性，作者界說了一個计较框架，如图 15 所示。该框架包含四個重要模块：（i）素材天生器，用户可以直接上传图片和文本，也能够對網页举行阐發，得到重要图片和關頭句子；（ii）图象合成，主動裁剪和缩放原始图象，以匹配方针版面巨细；（iii）排版優化，在選定版面模板的空間束缚下，将文本笼盖在调解巨细的图象上；（iv）文本色彩设计，在斟酌全局色彩协和谐局部可读性的环境下，以主題相干的样式從新存储文本。
图 15. 基于主題相干模板的可视化文本版面主動天生框架。
3.2.1 图象合成
该算法按照方针辨别率對原始图象举行裁剪和缩放，同時可以或许檢測到并保留首要的區域。這些區域包括關頭信息，如人脸、文本、凸起物體和人類注重力。如图 16 所示，作者對输入图象利用显著性檢測、OCR 和人脸檢測。响应地，计较出显著性、人脸、文本和注重力求，并将视觉感知图界說為所有图中的最大操作。經由過程最大化與图象 I 具备不异纵横比的裁剪 mask 下首要性值實现從辨别率為 [w_o, h_o] 的图象 I_o 到辨别率為 [w, h] 的图象 I 的图象合成，然後再将裁剪後的图象缩放到辨别率 [w, h]。别的，在檢測侧面轮廓時作者引入了瞩目注重力（Gaze attention），從而获得人眼在图象上的位置和頭部的標的目的。然後，可以很輕易地计较出瞩目標的目的，經由過程它咱們可以估量出图 15 所示的瞩目注重力求。首要性图界說為對显著图、人脸图和文本图的最大操作。@經%1a7d4%由%1a7d4%過%1a7d4%程對瞩%9944R%目@ - 注重力求和首要性图举行 T 變更，获得了辨别率為[w, h] 的瞩目 - 注重力求 I_a 和首要性图 I_m，這對後续的排版進程是很是有效的。
3.2.2 排版
图 16. 排版進程：（a）视觉首要性图（灰色）與瞩目注重力（黄色）；（b）從排名前 5 位的模板當選擇模板；（c）输入文本；（d） 排版步伐的细節，此中經由過程迭代節制正面高度（比方，「封面線」）在次優化解决方案中最小化界說為 E(L)的能量；（E）排版成果具备自下而上的图象特性和自上而下的空間结构束缚。
图 16 给出了完备的排版進程。视觉文本结构的排版是将文本叠加到布景图象上的進程。從人類的视觉感知来看，句子在图象上的表示凡是被视為一個文本块。作者将此文本块的轮廓界說為响应句子的鸿沟框，拜见图 16 中图象（e）的赤色矩形。作者将排版問題描写為一個能量優化問題，在主動選擇模板的束缚下，最小化文本叠加的價格、過剩视觉空間的挥霍和信息首要性在感知和语义上的不匹配水平。
3.2.3 调和色采设计
文本和图形元素的色采设计一向是缔造高質量视觉文本结构的一大挑战。因為人們對色彩很是敏感，调和的色彩可以發生一種悦目標触感来吸援用户的注重力，并為长時候的浏览供给杰出的體驗。调和色采设计的两個请求是：1）連结文本色彩與布景图象的总體和谐，2）連结文本的局部可读性。為了知足這些需求，作者操纵设计師总结出的语义色采和一些聞名的色采和谐模子，在和谐色采设计中采纳主題相干模板，供给了一種有用的色采设计法子。
如图 15 所示，從调解巨细的图象中提取调色板。调色板由七種色彩构成，此中前四種来自显著工具，此外三種来自非显著工具。同時經由過程图象主題辨認出文本的语义色彩，用于监视文本色彩的天生。按照模板中主色的界說，從调色板當選擇主色。在必定的色调和谐模板中，對语义色彩举行迭代，计较出與主色彩的匹配分数。提取相应最大（匹配分数最高）的色彩作為文本的基色。為了知足第一個请求，作者采纳「i」型色调和谐模板来節制其他文本的色调。在肯定每一個文本的色调後，作者采纳必定的色调模子来包管與布景有足够的视觉比拟度。
图 17 演示了「時尚」主題中图象的色采设计進程。在「時尚」话題中，主色调被界說為最常呈现在显著區域的色彩。据此，選擇调色板中的第一種色彩作為主色，主色反应视觉部門中的基色。經由過程在本主題中利用類似色调類型，文本元素的基色被分派授與主色具备最大匹配分数的语义色彩。然後選擇和谐色作為最靠近主色的色彩。在杂志封面样式的版面设计中，最显著位置和最大容许字體巨细的「刊頭」通經常使用于肯定文本元素的根基色彩。然後将和谐语义色彩设置為「刊頭」。以「刊頭」色彩為根本，經由過程主題相干和谐模子和局部图象特性對其他部門的文本举行辨認。起首，在「i」類型模板中设置文本的「色调」值。為了抵偿比拟度與文本的當地布景，作者利用了一個扩大的色调模板（Tone template）。文本的色调设置為局部布景色调與饱和度在值坐標中最远可能的相反標的目的之間的黄金比例點。
图 17. 「時尚」主題中图象的色采设计步伐阐明。
3.3 實行阐發
作者在實行當選擇了两個比拟基線法子：MM12 和 IUI13。MM12 供给了一個半主動化體系，如许一旦设计師為杂志设计了一種气概，便可以基于一组内容图象特性主動天生文章版面[8]。IUI13 则是一個杂志封面主動设计举薦體系[9]。作者暗示由图 18 可以看出，本文法子的结果優于 MM12 和 IUI13。這是因為對付每一個主題，咱們都供给了专門的空間结构模板和主題样式，這有助于天生更使人愉悦的视觉文本结构。
图 18. 與以往事情的實行比拟。（a） 和（b）别離由 MM'12 和 IUI'13 部門的從新實现天生。本文法子成果如（c）所示，该成果看起来自但是专業，空間结构均衡，色采调和。（d） 由從未见過咱們提出的视觉文本结构的招募而来的设计師手工设计。
别的，作者在論文中還给出了從測試介入者那邊获得的反馈。作者暗示，這些介入者在評論本文法子天生的排版成果時說：「使人诧异的是，主動天生的版面看起来如斯靠近于设计師建造的杂志封面和真正的杂志封面。」「一些成果彷佛就是设计師做的。」他們認為咱們天生的版面中文字色彩都雅，总體與图象调和。「時尚主題的衬線字體看起来很是调和。」這些介入者也给出了一些建议，比方应當给「刊頭」更多的機動性。别的，他們還建议，若是可以或许節制每一個字符的字體巨细，结果可能会更好。由此，作者暗示在後续事情中，会斟酌将本文法子扩大到其他類型的媒體中，如海報，以使文本元素在空間上加倍機動。
四、電路设计中的 AI
這篇文章存眷的是電路设计中的 AI 問題[4]。夹杂旌旗灯号集成電路無處不在。固然今朝可以用成熟的 VLSI CAD 東西来辅助数字旌旗灯号的设计，但摹拟旌旗灯号设计仍是要寄托有履历的人類专家来完成。履历丰硕的专家或设计師可以借助進修型的主動化東西来举行设计，可是，因為设计流程冗杂繁杂，即便對付他們来讲，借助東西举行设计也不是一件輕易的事變。设计职员必要起首對拓扑布局举行阐發，并推导出機能指標的计较公式。因為摹拟電路具备高度非線性的特征，以是在拓扑阐發進程中必要举行大量的简化和類似處置。在获得全数计较公式 / 方程的根本上，计较出初始值。然後，再举行大量的仿真、参数微调，以知足機能指標的请求，终极输出设计成果。因為设计空間大、仿真東西運行速率慢、分歧機能指標之間的掂量處置繁杂，全部進程会很是花费人力和時候。比年来，晶體管主動定型（Automatic transistor sizing）引發了愈来愈多存眷。今朝，重要钻研内容都集中于在单個電路上肯定晶體管的尺寸。關于摸索将電路设计的常識或方案從一種拓扑布局转移到另外一種拓扑布局，或從一種技能節點转移到另外一種技能節點以削减设计開消的钻研则很是有限。
受强化進修（Reinforcement Learning，RL）的迁徙進修能力開导，本文提出了一種可以或许實现常識迁徙的電路设计法子（GCN-RL Circuit Designer），如图 19 所示。起首在電路上练習一個 RL agent，然後利用不异的 agent 在新的技能節點 / 拓扑布局上對新的電路或不异的電路举行巨细调解。如许一来，便可以在不重新设计的环境下低落仿真本錢。
電路也能够看做是一個图，受此開导，作者在優化轮回中操纵拓扑图，可使優化轮回進程其實不是黑盒。為了充實操纵電路的拓扑图信息，作者提出给 RL agent 配备一個图卷积神經收集 (Graph Convolutional Neural Network，GCN) 来處置電路中元件之間的毗連瓜葛。作者暗示，本文是第一個操纵 GCN 的 RL 在分歧的技能節點和分歧的拓扑布局之間举行常識转移的事情。
图 19. 基于图卷积神經收集的主動晶體管尺寸强化進修。
4.1 法子阐發
作者将摹拟電路拓扑布局固定的晶體管尺寸問題表述為一個鸿沟束缚的優化。
消脂茶,
此中, x 為参数向量，n 為搜刮的参数数量，D^n 為设计空間，優化方针為效益图（Figure of Merits, FoM）。作者将 FoM 界說為归一化機能指標的加权总和：
此中，m_i 為測得的機能指標，(m_i)^min 和(m_i)^max 為预先界說的归一化因子，用于對機能指標举行归一化處置，以包管其知足取值范畴请求。(m_i)^bound 是预先界說的機能上界。w_i 是调解第 i 個機能指標首要性的权重。對付一些電路基線，存在着必需要知足的機能規范（Performance specification，spec），若是不知足這些規范，则给 FoM 赋负值。
完备的法子框架如图 20 所示。在每次迭代中，(1) 将電路拓扑嵌入到一個图中，图中節點是元件，邊是导線；(2) 電路情况為每一個晶體管天生一個状况向量，并将带有状况向量的图 (带有圆圈節點的图) 通報给 RL agent；(3) RL agent 處置图中的每一個節點，并為每一個節點天生一個動作向量。然後，agent 将带有節點動作向量的图 (指带有方形极點的图) 通報给電路情况；(4) 電路情况将動作規范化為参数，并對其举行细化處置；(5)摹拟電路；(6)计较 FoM 值并反馈给 RL agent 更新计谋。
图 20. 法子框架图。
本文利用 actor-critic RL agent。critic 可以被認為是電路摹拟器的一個可區别模子。agent 按照模子寻觅隔離霜,機能最優的點。
状况空間（State Space）。RL agent 逐一组件處置電路图。對付拓扑图 G 中具备 n 個元件的電路，第 k 個元件的状况 s_k 界說為：s_k=(k, t, h)，此中 k 是晶體管指数的 one-hot 暗示，t 是元件類型的 one-hot 暗示，h 是元件的選定模子特性向量，它進一步區别分歧的元件類型。對付 NMOS 和 PMOS，利用的模子参数是 V_sat, V_th0, V_fb, μ_0 和 U_c。對付電容和電阻，将模子参数设置為 0。比方，對付一個有四個分歧種類（NMOS、PMOS、R、C）的十個元件和一個五维模子特性向量的電路，第三個元件（一個 NMOS 晶體管）的状况向量為：
對付觀測向量 s_k 中的每個维度，咱們經由過程分歧份量的均匀值和尺度差對它們举行归一化處置。
動作空間（Action Space）。因為搜刮所需的参数纷歧样，以是分歧類型的组件的動作向量也纷歧样。對付第 k 個元件，若是是 NMOS 或 PMOS 晶體管，其動作矢量制定為(a_k)^MOS =(W, L, M)，此中 W 和 L 為晶體管栅极的宽度和长度，M 為复用器。對付電阻器，其動作矢量公式為：(a_k)^R = (r)。此中，r 為電阻值。對付電容器，其動作矢量公式為：(a_k)^C = (c)。此中，c 為電容值。作者利用一個持续的動作空間来肯定晶體管的尺寸，這是因為利用離散動作空間会落空相對于次序信息同時離散空間過大。
嘉奖（Reward）。嘉奖是 FoM。它是归一化機能指標的加权和。在默许设置中，所有的指標都是等同权重的。
為了将图毗邻信息嵌入到優化轮回中，作者操纵 GCN 来處置 RL agent 中的拓扑图。如图 21 所示，一個 GCN 层經由過程聚合来自其邻人節點的特性向量来计较每一個晶體管的暗藏暗示。若是重叠多個 GCN 层，一個節點便可以接管到間隔很远的節點的信息。在本文框架中，作者利用了 7 個 GCN 层，以确保最後一层在全部拓扑图上有一個全局接管场。
GCN 层可以表述為：
拓扑图 G 的毗邻矩阵（A）加单元矩阵（I_N）
一個特定层的可练習权重矩阵，與图 21 中同享权重相呼应
图 21. 多层 GCN 的强化進修 agent。
actor 和 critic 模子的架构略有分歧（图 21）。actor 的第一层是所有组件同享的 FC 层。critic 的第一层是一個同享的 FC 层，有一個特定组件的编码器来编码分歧的動作。actor 的最後一层有一個组件特定的解码器来解码分歧動作的暗藏激活，而 critic 有一個同享的 FC 层来计较展望的嘉奖值。作者设计這些特定的编码器 / 解码器层是由于分歧的组件有分歧類型的動作（参数）。actor 最後一层的输出是每一個组件的预设参数向量，范畴為[-1, 1]。作者對它們举行去归一化和细化處置，以获得终极的参数。
關于技能節點間的迁徙問題，如图 22 所示，专家或设计工程師起首從一個節點中担當拓扑布局并计较初始参数，然後频频调解参数、仿真并阐發機能。本文法子可以将這一進程主動化，在一個技能節點上练習一個 RL agent，然後凭仗分歧技能節點之間類似的设计道理，直策应用练習好的 agent 去搜刮分歧技能節點下的统一電路。
關于拓扑間的迁徙問題。若是分歧的拓扑布局具备類似的设计道理，也能够在分歧的拓扑布局之間举行常識转移，好比两级跨阻放大器和三级跨頸椎按摩儀,阻放大器之間。點窜 GCN 中的状况向量，将 k 修改成一维索引值（one-dimension index value），而不是 one-hot 索引向量（one-hot index vector）。如许一来，在分歧的拓扑布局中，每一個份量的状况向量的维度連结稳定。
图 22. 常識迁徙。
4.2 實行阐發
作者經由過程實行證了然本文法子實现 Three-TIA 上技能節點之間的常識迁徙。作者将在 180nm 上學到的设计迁徙到 45nm、65nm、130nm 和 250nm 上，進修曲線见图 23。agent 在 180nm 长進行练習，并迁徙到较大的節點 250nm 和较小的節點 130nm、65nm 和 45nm 中，以驗證其遍及的有用性。颠末 100 個热身步调後，有常識迁徙的 FoM 敏捷增长，最後收敛在比没有常識迁徙更高的程度。
為了驗證将所學的常識從一種拓扑布局迁徙到另外一種拓扑布局的能力，作者選擇了 Two-TIA 和 Three-TIA，由于它們都是跨阻抗放大器，是以有一些配合的常識，進修曲線见图 24。GCN-RL 一向比 NG-RL（即 non-GCN RL，未利用 GCN 的 RL）获得了更高的 FoM。在没有 GCN 的环境下，NG-RL 的 FoM 與没有迁徙的法子委曲處于统一程度，這阐明利用 GCN 從图中提取常識是相當首要的，GCN 提取的图信息有助于提高常識迁徙機能。
图 23. Three-TIA 上技能節點之間的常識迁徙。将在 180nm 上學到的设计转移到 45nm、65nm、130nm 和 250nm 上。
图 24. Two-TIA 和 Three-TIA 之間的常識迁徙。
五、文章小结
设计是一種有方针有規劃的举行技能性的创作與创意勾當，以是设计是一種與人類抽象思惟能力高度相干的使命，在设计中引入人工智能就更具挑战。
咱們在這篇文章中详细探究了人工智能在布局设计、產物设计、電路设计、排版版面设计中的利用。此中，布局设计和電路设计中的利用法子较為類似，都是将设计問題转化為数學問題，然後對数學中的離散或持续變量举行建模并阐發。排版版面设计使命與文本辨認、图象合成高度相干，主如果經由過程套用模板、设计色采實现排版。產物设计则是指应居心理丈量學来理解用户的设计感知，為後续的设计周期天生反馈，并渐渐更新呆板進修模子以顺应在線利用顶用户偏好的快速變革的设计進程。
在设计中引入人工智能，可以或许操纵人工智能的影象能力、進修能力、计较能力不竭地摸索并找到最好的设计方案。若何更公道地對设计問題举行建模和阐發，若何按照分歧设计問題的特色找到最合适的 AI 法子，另有待更深刻的钻研和探究。
【本文参考援用的文献】
[1] Chaeibakhsh S , Novin R S , Hermans T , et al. Optimizing Hospital Room Layout to Reduce the Risk of Patient Falls, 2021. .
[2] Chaehan So. Human-in-the-Loop Design Cycles – A Process Framework that Integrates Design Sprints, Agile Processes, and Machine Learning with Humans. The first International Conference on Artificial Intelligence in HCI 2020. .
[3] Wang Hanrui, Yang Jiacheng, et al. Learning to Design Circuits NIPS‘18 ..
[4] Wang, Hanrui, Wang, Kuan, et al. GCN-RL Circuit Designer: Transferable Transistor Sizing with Graph Neural Networks and Reinforcement Learning. The 57th Design Automation Conference (DAC) 2020.
[5] Yang Xuyong, Mei Tao. Automatic Generation of Visual-Textual Presentation Layout. ACM Transactions on Multimedia Computing, Co妹妹unications, and Applications, Volume 12, Issue 2. .
[6] Novin, R. S., Taylor, E., Hermans, T., and Merryweather, A. (2020). Development of a novel computational model
for evaluating fall risk in patient room design. HERD: Health Environments Research & Design Journal.
[7] EO: IDEO Human-Centered Design Toolkit. 2nd Edition, (2008). .
[8] Mikko Kuhna, Ida-Maria Kivel¨ a, and Pirkko Oittinen. 2012. Semi-automated Magazine Layout Using Content-based Image Features. In Proceedings of the 20th ACM international conference on Multimedia (MM’12). ACM, ACM, New York, NY, USA, 379–388.
[9] Ali Jahanian, Jerry Liu, Qian Lin, Daniel Tretter, Eamonn O’Brien-Strain, Seungyon Claire Lee, Nic Lyons, and Jan Allebach. 2013. Reco妹妹endation System for Automatic Design of Magazine Covers. In Proceedings of International Conference on Intelligent User Interfaces. ACM, 95–106.
阐發師先容：
本文作者為仵冀颖，工學博士，结業于北京交通大學，曾别離于香港中文大學和香港科技大學担當助理钻研员和钻研助理，现從事電子政務范畴信息化新技能钻研事情。重要钻研標的目的為模式辨認、计较機视觉，快樂喜爱科研，但愿能連结進修、不竭前進。
關于呆板之心全世界阐發師收集 Synced Global Analyst Network
呆板之心全世界阐發師收集是由呆板之心倡议的全世界性人工智能专業常識同享收集。在曩昔的四年里，已稀有百名来自全世界各地的 AI 范畴专業學生學者、工程专家、营業专家，操纵本身的學業事情之余的闲暇時候，經由過程線上分享、专栏解读、常識库构建、陈述公布、評測及項目咨询等情势與全世界 AI 社區同享本身的钻研思绪、工程履历及行業洞察等专業常識，并從中得到了本身的能力發展、履历堆集及职業成长。 |
|
發表於 
收藏