OpenRefine3.10.0

OpenRefine是一款十分优秀的数据清理工具，软件功能强大，操作简单易用，提供丰富的数据清洗工具，如删除重复项、修复错误、标准化格式等，支持CSV、Excel、JSON、XML、数据库等多种数据格式的导入和导出，满足用户的使用需求，大大的提高工作效率，有需要的用户千万不要错过了！

OpenRefine软件功能

1、跨平台：OpenRefine 支持 Windows、macOS 以及 Linux 操作系统部署，用户通过浏览器进行访问。

2、数据源：支持各种数据格式，包括 CSV、TSV、JSON、XML、ODS、Excel、数据库(MySQL、MariaDB、PostgreSQL、SQLite 等)、URL、RDF、Google Sheets、Wikibase 等;也可以通过扩展插件支持更多数据格式。

3、数据转换：提供各种数据清洗与标准化功能，例如大小写转换、移除空白字符、字符串处理(替换、截取、拼接)、拆分列、合并列等。软件内置了功能强大且易于学习的表达式语言(GREL)，可以通过它实现非常复杂的数据逻辑。

4、数据筛选：通过数据分面和筛选器，根据某一列的值来快速查看、筛选数据子集。例如，可以筛选出所有“状态”为“未知”或“空值”的记录。

5、数据分组：通过聚类自动识别出在拼写上相似但略有不同的值，例如“Microsoft”和“Microsft”，同时提供一键合并的选项。

6、数据校正：将数据集与外部源的数据集进行匹配和链接，为数据添加上下文和唯一标识符。

7、版本历史：软件可以记录用户每一步操作，支持随时查看完整的操作历史，并且可以撤消或重做任何操作;同时还可以导出整个处理过程，以便在其他项目上重复使用。

8、导出数据：可以将处理之后的数据集导出为文件，包括 CSV、TSV、HTML、ODS、Excel、SQL 语句、Wikibase 等。

9、扩展插件：通过安装扩展插件支持更多功能，例如 AI 大语言模型、Javascript 表达式等。

OpenRefine软件安装步骤

1、在本站下载软件安装包，按照提示进行安装；

2、自定义选择安装位置，点击next；

3、选择开始菜单文件夹，点击next；

4、勾选附加任务，点击next；

5、点击install，等待软件安装完成即可使用。

OpenRefine软件更新日志

3.10.1版本

发生了哪些变化

重大变更

恢复导出器错误报告功能，并修复XLS/XLSX格式文件处理过程中的错误处理问题。@tfmorrisin#7459

新功能上线啦

将列名更改操作应用于各个维度/分类中@wetnebin#7073

在应用配方时显示“撤销”提示@wetnebin#7173

添加一个选项：仅保留匹配的行，删除其余行。@kalindafabin#7061

Wikibase：新增了多媒体文件上传功能，便于对那些必须填写的属性进行验证。@sunilnatrajin#7068

维基媒体上传的文件大小超过100MB(问题编号?)

添加GREL函数以实现字符串的标准化处理，其处理方式与fingerprint()函数内部的处理方式相同。@AbhinavPandey1911in#7127

通过Apache Compress进行导入时，新增对XZ、LZMA、7zip、ZStandard以及Unix压缩格式(.Z文件)的支持。@tfmorrisin#7497

通过某种方式提升“列移动”操作的通用性/适用范围。@wetnebin#7174

关闭/结束：通过更改菜单中各列的“查看”选项名称来重新命名它们@PadyA0in#7193

在应用相应规则时，要避免内部列名出现重复的情况。@wetnebin#7236

在“预览”选项卡中添加上传按钮@smierzin#7253

在扩展程序菜单中添加“特征/编辑结果”按钮@savchrisostomidhsin#7312

(修复措施：在遍历档案/文件名列之前添加检查步骤。#7319) by)由……制作/提供@amankumar100in#7344

关闭/结束：在导入预览界面中，列标题的样式应与……保持一致。@zleonencin#7415

通过这种方式，可以实现类似终端界的滚动功能，以便用户能够上下浏览表达式历史记录。@DevangJagdalein#7437

通过decToGMS和geoDistance函数来实现基本的地理空间相关功能。@SashankBhamidiinhttps://github.com/OpenRefine/openrefine-geo-extension

数据库：支持统一处理预览和导入时的批量数据大小。@DaxServerin#7446

通过以下方式引入GetColumnDependenciesCommand：@wetnebin#7131 #7169

添加对在操作元数据中重命名列的功能支持@wetnebin#7132

ExporterManager：通过添加明确的扩展点来实现功能扩展@Abbe98in#7316

让用户能够轻松复制系统和版本信息。@Abbe98in#7019

漏洞修复

更新LoadLanguageCommand.java文件的内容。@DevangJagdalein#7120

安装程序会通过相应方式删除之前的安装版本。@wetnebin#7123

在没有需要宣传的活动时，正确显示首页内容。@wetnebin#7108

维基文本导入器的布局真奇怪，设计得让人摸不着头脑。@SoryRawyerin#7176

修复因项目ID无效或未知而导致的无限加载提示问题。@SoryRawyerin#7187

修复了7010问题：通过无界面Java方式打开文件管理器。@SoryRawyerin#7197

修复分页控件及行数范围显示问题@wetnebin#7201

默认情况下，以完整的形式显示所有列标题。@wetnebin#7168

在Jackson中禁用字符串长度限制@wetnebin#7191

通过调整布局，解决菜单图标在显示较长描述时的问题。@wetnebin#7166

当点击“上一页”分页按钮时，在请求中需包含相应的行索引值。@SoryRawyerin#7211

修复“编辑所有列”菜单的相关问题@wetnebin#7218

通过该方式，可以为非GREL表达式启用自定义聚类功能。@b2min#7243

在通过@SoryRawyer返回重定向响应时，请务必包含contextPath，且该操作需在#7244<#>5#<#>中进行。

修复了RowAdditionOperation对象的反序列化问题。由……负责解决。@wetnebin#7247

Wikibase：修复了“NoValueSnak”被错误转换的问题。@Johann150in#7292

fix storeBlankColumns：仅在项目解析完成后才进行删除操作。@smierzin#7272

改进方法：改用 grep -E 而不是 egrep 来实现相同的功能。@alanorthin#7408

为对Wikidata的调用设置自定义用户代理。问题已解决。#7383by@tfmorrisin#7412

绝不能超出视口宽度范围@DevangJagdalein#7429

修复了非归档格式的压缩文件的导入问题。问题已解决。#7314by@tfmorrisin#7353

通过某种方式来更新数据库导入进度信息@smierzin#7439

取消冰岛语作为语言选项的功能。问题已解决。#7482by@tfmorrisin#7483

通过以下方式切换到新的MySQL连接器配置@smierzin#7477

通过@Copilot的功能，让JSON解析器在出现错误时能够显示原始数据内容。#7496

通过相应方式修复MySQL驱动程序类@smierzin#7478

明确指定所使用的JDBC驱动程序类。问题已解决。#7504by@tfmorrisin#7506

更新数据库扩展模块的依赖项@tfmorrisin#7512

修复在数据库导入预览功能中，一次性加载100行数据的问题。@smierzin#7507

仅适用于Windows系统

refine.bat：当外部程序出现错误时终止执行。@thadguidryin#7115

修复了在使用 PowerShell 运行 refine.bat 时，wmic 命令的输出结果缺失的问题。@thadguidryin#7130

其他变更事项

在列菜单中，通过相应操作为各项功能添加图标。@wetnebin#7060

操作方式：通过相应方式展示列之间的依赖关系及差异之处。@wetnebin#7056

功能：在列名更改后，添加翻译功能。@wetnebin#7065

修复：“应用”对话框中文件选择功能出现重复打开的问题。@wetnebin#7100

提示：在“应用”对话框中，请使用“运行操作”而非“执行操作”。@wetnebin#7101

历史记录：在应用各种操作之前，先验证各列之间的依赖关系是否正确。@wetnebin#7095

操作方式：通过某种方式，展示c.g.r.o.cells中各列之间的依赖关系。@wetnebin#7096

操作方式：在c.g.r.o.recon中展示列之间的依赖关系@wetnebin#7097

操作：揭示c.g.r.o.rows中各列之间的依赖关系@wetnebin#7098

任务：对删除重复行的操作进行单独的命令测试和功能测试。@wetnebin#7118

系统：请不要在安装过程结束时主动提示打开“readme”文件。@wetnebin#7128

引入Recipe类来存储一系列操作指令。@wetnebin#7116

一种纯CSS实现的解决方案：通过悬停效果来高亮显示历史记录项@wetnebin#7134

修复：在“应用操作”对话框中，错误报告功能得到了改进。@wetnebin#7133

修正“chomp”一词在英文翻译中的拼写错误。@thadguidryin#7139

grel：为字符串和正则表达式字面量提供更精确、更美观的显示方式@wetnebin#7117

操作方式：改进数据扩展功能，以便能够控制所创建列的名称。@wetnebin#7119

MacOS：通过相应方式更新DMG包中的文件权限@wetnebin#7144

操作内容：将针对c.g.r.o.cell的重命名功能进行更新/调整。@wetnebin#7156

操作内容：将“c.g.r.o.column”的重命名功能进行相应调整/修改。@wetnebin#7153

在历史记录面板中显示操作图标@wetnebin#7135

操作：将“c.g.r.o.recon”的重命名功能移交给相应部门处理。@wetnebin#7155

操作内容：将対c.g.r.o.row的命名方式进行修改/重命名@wetnebin#7154

Wikibase：支持在操作过程中进行列式分析及列名重命名。@wetnebin#7157

为所有的侦察行动添加图标@wetnebin#7146

在主模块中，为所有剩余的操作添加图标。@wetnebin#7159

通过相应措施来处理新操作中缺失的列依赖关系以及列之间的差异。@wetnebin#7195

修复措施：在单元格拆分/合并操作中，解决列之间的依赖关系问题。@wetnebin#7192

建议使用“aria-labelledby”而非“aria-labeledby”。@keithamusin#7216

通过以下方法识别Python表达式中的语法错误：@SoryRawyerin#7217

添加操作，实现一次性删除多列的功能。@wetnebin#7194

提高CSV文件中单元格大小的限制值@wetnebin#7219

用SVG替换PNG格式的箭头图标@smierzin#7226

在“应用”对话框中，将配方列与项目列进行对应映射。@wetnebin#7158

修复：由某功能导致的RowAdditionOperation对象的JSON反序列化问题。@wetnebin#7225

通过相应措施来解决因语言更新导致的Cypress测试失败问题。@SoryRawyerin#7260

通过……方式为各种特征类型设置对应的图标。@wetnebin#7233

在提示历史记录将被删除的对话框中，添加操作图标。@wetnebin#7230

通过以下方式更新Cypress依赖文件：@wetnebin#7228

Wikibase：通过相应方式添加操作图标@wetnebin#7232

Wikibase：修复了英文描述中存在的翻译键相关问题。@wetnebin#7283

2024年治理情况更新报告由……提供@magdmartinin#7023

建议：在JavaScript扩展点中添加JSDoc注释@Abbe98in#7296

文档说明：为DOM相关工具函数添加JSDoc注释@Abbe98in#7306

文档：为I18N相关工具添加JS文档注释@Abbe98in#7307

文档说明：为CellRenderRegistry添加jsdoc注释@Abbe98in#7315

文档说明：为CSRF相关工具添加JS文档注释@Abbe98in#7305

不要将默认编码方式强制施加给客户端。@Abbe98in#7304

测试：为AddColumnCommand参数解析功能添加回归测试。@amansingh-swein#7310

切换到OSSRH测试版API。参考文档请查阅此处。#7390by@tfmorrisin#7401

将数据库扩展名中的“png”替换为“svg”@smierzin#7494

将多个PNG文件替换为SVG格式@smierzin#7530

修正操作图标路径中的拼写错误@smierzin#7554

3.7版本

漏洞

从3.7.8版本起，上述漏洞已得到修复。该漏洞并未有效阻止利用特定URL语法对JDBC服务器进行攻击的行为。该漏洞的标识号为CVE-2024-23833。我们感谢@l0n3rs向我们披露了这一漏洞。

自3.7.5版本起，数据库扩展模块中的一个安全漏洞已得到修复。连接到恶意MySQL服务器时，攻击者可能读取相关文件或在运行OpenRefine的机器上执行任意代码。这些漏洞分别被赋予CVE-2023-41886和CVE-2023-41887编号，该漏洞由@nbxiglk0发现并报告。

自3.7.4版本起，项目导入功能中存在的一个安全漏洞已得到修复。如果导入经过恶意制作的项目，可能会在运行OpenRefine的机器上执行任意代码。该漏洞的编号为CVE-2023-37476，由SonarSource的Stefan Schiller发现了这一问题并进行了报告。

新功能

现在，OpenRefine用户界面中显示的大部分文本均可进行翻译。不过有些字符串(由服务器端生成)目前还无法被翻译。为帮助译员处理这些未翻译的内容，请随时与我们联系。加入我们的Weblate吧。. (#5030)

新媒体文件可以上传到维基媒体共享资源等Wikibase实例中。得益于新增的字段，现有文件的维基文本也可进行编辑。#4682

在列出已注册的Wikibase实例的对话框中，新增了一个名为“发现Wikibase实例…”的按钮。#5007其设计经过改进。#5009)

在Wikibase模式编辑器中，现在支持使用非标准数据类型的记录——只要这些类型以字符串形式进行存储即可(#3263)。例如EDTF格式的日期或音乐符号等。

Wikibase的“问题”标签页现在允许通过相关筛选条件来查找导致特定问题的具体记录(#5033)。

“通过获取URL添加列”操作的默认延迟时间已缩短至500毫秒，同时该操作的错误报告功能也得到了优化。#5188

Wikibase模板(即不完整的Wikibase数据结构)可以被保存并共享。这样做有助于所有贡献者在使用Wikibase时采用统一的数据组织方式。#5043, #5303)

基于行的导入器现在支持自定义分隔符，而不再仅使用换行符作为分隔符(#4103)。

Excel导入器可被设置为将所有单元格内容作为文本导入，同时禁用OpenRefine所支持的其他数据类型的功能。#4838

现在可以通过OpenRefine上传“具有一定价值”以及“毫无价值”这两种Wikibase值类型。#5360

Excel导入器也不会强制将单元格中的数据转换为与其实不符的OpenRefine数据类型;例如，它不会将日期强制转换为包含时间信息的日期格式。#5389, #5390).

GREL发生了变化

GREL toString函数在数字格式化方面的错误处理机制得到了改进(#816)

由于jsoup库中的相关变更(jsoup的#1636问题)，GREL函数wholeText()在处理换行符时的行为发生了细微变化。

新增了一个名为parent的GREL函数，该函数可用于获取XML元素的父元素。(#5176)

漏洞修复

用于选择对账匹配项的对话框布局已得到优化，现在自动完成功能不会遮挡其他选项(#4821)。

关于散点图功能如何识别数值列的详细文档更加完善了(#4890)

已修复在单元格值中检测URL的问题(#4546)

在尝试添加版本过旧或过新的Wikibase清单时出现的错误信息已得到改进(#4847)。

Jython表达式返回的错误信息更易于理解。#3012

ODS导出器在生成的文档中不再创建默认的工作表“Sheet1”(#4864)。

自动完成功能中的长描述不再被截断了(#4988)

用于编辑单元格值的界面经过了改进，现在能更清晰地说明如何输入日期(#3082)。

Windows系统的脚本已被修改，使其与Unix系统的脚本更加一致(#4949，#5404)。

“查找匹配项”对话框的布局进行了调整，使得下拉列表不会覆盖按钮(#4945)。

散点图功能中的错误处理机制得到了改进(#4893)

“删除连续空格”功能现在能正确处理Unicode格式的空格字符了(#4898)

(#4991)

在导入流程中，对于未带有.gz扩展名的GZIP压缩文件的处理方式得到了优化。#547

(#5153)

通过在相应列字段中按下“Enter”键，即可提交“根据此列添加新列”的请求(#5143)。

已修复被重定向的Wikibase条目的编辑问题(#5162)

在Wikibase模式不完整的情况下，用户体验得到了改善(#5131)

内存使用情况的显示方式得到了改进：现在显示的是已使用内存而非总内存量，并且数据更加精确。#5222

标签与输入内容的关联方式得到了优化，从而提升了界面的易用性。#5239, #5242, #5249, #5284)

已修复对账对话框中的溢出问题(#5285)

Wikibase现在已能正确支持本地运行的协调处理端点(#5035)。

Wikibase标志的宽高比现在得到了正确保留(#5306)

SQL导出接口得到了改进(#5224)

单元格编辑弹窗及包含文本框输入框的对话框现在可以调整大小了(#5330)

在未对账的列中将一组单元格标记为“新建”时，系统会要求用户指定用于对账的服务(#4985)。

Wikibase扩展程序中增加了更多质量检测机制，例如会检查新创建的Wikibase条目中的标签及描述是否完全相同(#4980)。

Wikibase扩展功能中自动完成结果的缓存问题已得到修复(#5190)

Wikidata扩展程序已正式更名为“Wikibase扩展程序”(#4525)。

在聚类过程中，集群控制选项及编辑对话框会变为灰色状态(#5369)。

整个应用程序中对Unicode空白字符的处理方式得到了优化(#5105)

我们的MacOS安装包(.DMG格式)现已经过合法签名及公证处理，因此其安装过程应会更加简便。#4586此外，通过添加通往“应用程序”文件夹的链接，DMG图像的显示方式变得更加用户友好。#5509)

GREL中对一元负号的处理方式已得到修复(#5465)

从3.7-beta3版本起，在选择包含空格的选项时，聚类对话框不再自动添加不间断空格(#5581)。

从3.7.1版本起，项目导入过程中内存使用情况的显示问题已得到解决。#5665

从3.7.2版本起，德语版本的本地化问题已得到解决(#5750)

从3.7.3版本起，在Windows系统中使用Java 17运行openrefine.exe时出现的问题已得到解决(#5583)。

从3.7.3版本起，对已删除条目的Wikibase编辑操作将被跳过，因此不会导致整个批处理操作延迟。#5385

从3.7.3版本起，HTML文档语言与界面所使用的语言保持一致(#5925)。

从3.7.3版本起，默认的对账类型会同时显示其名称和ID(#5907)。

从3.7.3版本起，列与行之间的数据转置功能得到了优化：空白单元格被视为空值(#5229)。

从3.7.6版本起，#6071文本格式中的排版中补充了缺失的空格。

从3.7.6版本起，对于采用Snap包装技术的OpenRefine应用程序，系统在启动时自动打开浏览器的问题已得到解决。#6065

从3.7.6版本起，Wikibase中用于合并语句的策略选择被固定了下来(#6066)。

从3.7.6版本起，当使用了Wikibase扩展及相关功能时出现的尺寸调整问题已得到修复(#6070)。

从3.7.7版本起，Wikibase模式编辑器中的渲染问题已得到修复(#6165)

从3.7.7版本起，在“通过获取URL添加列”操作中，如果尝试访问无效的URL，系统会向用户发出相应提示(#6141)。

从3.7.7版本起，“从对账结果中添加列”操作中“删除”按钮与“配置”按钮之间原本缺失的空格已被补充(#6151)。

适用于开发者

一些从未在用户界面中显示的列元数据字段已被删除(#5276)。

一个新的用于自定义单元格渲染的扩展点被引入了)#5154)