feat: add news.mynavi.jp custom parser #287
Merged
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
🤖 Automated Parsing Preview 🤖Commit: Original Article | HTML Fixture | Parsed Content Preview Parsed JSON{
"title": "人気の圧縮・解凍ソフト「WinRAR」に脆弱性、アップデートを",
"content": "<div><div class=\"article-body\">\n <p>Check Point Software Technologiesは2月20日(米国時間)、「<a href=\"https://research.checkpoint.com/extracting-code-execution-from-winrar/\">Extracting a 19 Year Old Code Execution from WinRAR - Check Point Research</a>」において、人気の高い圧縮・解凍ソフトウェアであるWinRARに長年にわたってセキュリティ脆弱性が存在していると伝えた。</p>\n\n<p>この脆弱性の影響により、細工されたファイルを展開する段階でマルウェアに感染させられる可能性があり、最終的に攻撃者によってシステムの制御権が乗っ取られる危険性があるという。</p>\n\n<p>Check Point Software Technologiesがどのようにこの脆弱性を発見したか、攻撃者がどのような手口でこの脆弱性を突いてマルウェアの感染を実施するのかは次のページに詳細がまとまっている。</p>\n\n<ul>\n<li><a href=\"https://research.checkpoint.com/extracting-code-execution-from-winrar/\">Extracting a 19 Year Old Code Execution from WinRAR - Check Point Research</a></li>\n</ul>\n\n<ul class=\"photo_table\">\n<li class=\"item-01\">\n<a class=\"photo_table__link\" href=\"https://news.mynavi.jp/photo/article/20190222-775563/images/001l.jpg\"><img class=\"photo_table__img lazyload\" alt=\"Extracting a 19 Year Old Code Execution from WinRAR - Check Point Software Technologies\" src=\"https://news.mynavi.jp/article/20190222-775563/images/001.jpg\"></a><p class=\"photo_table__caption\">「WinRAR」の操作画面</p>\n</li>\n</ul>\n\n<p>WinRARは世界中に5億人のユーザーがいると見られており、かなりの数の人がこの脆弱性の影響を受けるおそれがある。この脆弱性は19年以上にわたって存在していた可能性があることも指摘されている。</p>\n\n<p>WinRARの開発元はすでにこの脆弱性の原因となった形式のファイルサポートを廃止することを決定しており、WinRAR 5.70 beta 1ですでにACEフォーマットのサポートが中止されている。今後、ベンダーから提供される情報に注力するとともに、最新版が公開された場合には迅速にアップデートすることが望まれる。</p>\n\n </div></div>",
"author": "後藤大地",
"date_published": "2019-02-22T08:23:44.000Z",
"lead_image_url": "https://news.mynavi.jp/article/20190222-775563/index_images/index.jpg",
"dek": "Check Point Software Technologiesは2月20日(米国時間)、人気の高い圧縮・解凍ソフトウェアであるWinRARに長年にわたって脆弱性が存在していると伝えた。この脆弱性の影響で、細工されたファイルを展開する段階でマルウェアに感染させられる可能性があるという。",
"next_page_url": null,
"url": "https://news.mynavi.jp/article/20190222-775563/",
"domain": "news.mynavi.jp",
"word_count": 41,
"direction": "ltr",
"total_pages": 1,
"rendered_pages": 1
}
✅ All tests passed |
adampash
suggested changes
Feb 28, 2019
|
|
||
| author: { | ||
| selectors: [ | ||
| 'body > div.wrapper > div.container > div.body > main > div.article-author > a', |
There was a problem hiding this comment.
If possible, I'd try to make this a little more generic. Extremely specific selectors like this can be brittle if the html ever changes. If, for example, main div.article-author worked, I'd suggest going with that.
There was a problem hiding this comment.
I fixed as below.
'main div.article-author a.article-author__name',
|
|
||
| content: { | ||
| selectors: [ | ||
| 'body > div.wrapper > div.container > div.body > main > article > div', |
There was a problem hiding this comment.
Same comment here as with the author selector.
There was a problem hiding this comment.
I fixed as below.
'main article div',
🤖 Automated Parsing Preview 🤖Commit: Original Article | HTML Fixture | Parsed Content Preview Parsed JSON{
"title": "人気の圧縮・解凍ソフト「WinRAR」に脆弱性、アップデートを",
"content": "<div><div class=\"article-body\">\n <p>Check Point Software Technologiesは2月20日(米国時間)、「<a href=\"https://research.checkpoint.com/extracting-code-execution-from-winrar/\">Extracting a 19 Year Old Code Execution from WinRAR - Check Point Research</a>」において、人気の高い圧縮・解凍ソフトウェアであるWinRARに長年にわたってセキュリティ脆弱性が存在していると伝えた。</p>\n\n<p>この脆弱性の影響により、細工されたファイルを展開する段階でマルウェアに感染させられる可能性があり、最終的に攻撃者によってシステムの制御権が乗っ取られる危険性があるという。</p>\n\n<p>Check Point Software Technologiesがどのようにこの脆弱性を発見したか、攻撃者がどのような手口でこの脆弱性を突いてマルウェアの感染を実施するのかは次のページに詳細がまとまっている。</p>\n\n<ul>\n<li><a href=\"https://research.checkpoint.com/extracting-code-execution-from-winrar/\">Extracting a 19 Year Old Code Execution from WinRAR - Check Point Research</a></li>\n</ul>\n\n<ul class=\"photo_table\">\n<li class=\"item-01\">\n<a class=\"photo_table__link\" href=\"https://news.mynavi.jp/photo/article/20190222-775563/images/001l.jpg\"><img class=\"photo_table__img lazyload\" alt=\"Extracting a 19 Year Old Code Execution from WinRAR - Check Point Software Technologies\" src=\"https://news.mynavi.jp/article/20190222-775563/images/001.jpg\"></a><p class=\"photo_table__caption\">「WinRAR」の操作画面</p>\n</li>\n</ul>\n\n<p>WinRARは世界中に5億人のユーザーがいると見られており、かなりの数の人がこの脆弱性の影響を受けるおそれがある。この脆弱性は19年以上にわたって存在していた可能性があることも指摘されている。</p>\n\n<p>WinRARの開発元はすでにこの脆弱性の原因となった形式のファイルサポートを廃止することを決定しており、WinRAR 5.70 beta 1ですでにACEフォーマットのサポートが中止されている。今後、ベンダーから提供される情報に注力するとともに、最新版が公開された場合には迅速にアップデートすることが望まれる。</p>\n\n </div></div>",
"author": "後藤大地",
"date_published": "2019-02-22T08:23:44.000Z",
"lead_image_url": "https://news.mynavi.jp/article/20190222-775563/index_images/index.jpg",
"dek": "Check Point Software Technologiesは2月20日(米国時間)、人気の高い圧縮・解凍ソフトウェアであるWinRARに長年にわたって脆弱性が存在していると伝えた。この脆弱性の影響で、細工されたファイルを展開する段階でマルウェアに感染させられる可能性があるという。",
"next_page_url": null,
"url": "https://news.mynavi.jp/article/20190222-775563/",
"domain": "news.mynavi.jp",
"word_count": 41,
"direction": "ltr",
"total_pages": 1,
"rendered_pages": 1
}
✅ All tests passed |
🤖 Automated Parsing Preview 🤖Commit: Original Article | HTML Fixture | Parsed Content Preview Parsed JSON{
"title": "人気の圧縮・解凍ソフト「WinRAR」に脆弱性、アップデートを",
"content": "<div><div class=\"article-body\">\n <p>Check Point Software Technologiesは2月20日(米国時間)、「<a href=\"https://research.checkpoint.com/extracting-code-execution-from-winrar/\">Extracting a 19 Year Old Code Execution from WinRAR - Check Point Research</a>」において、人気の高い圧縮・解凍ソフトウェアであるWinRARに長年にわたってセキュリティ脆弱性が存在していると伝えた。</p>\n\n<p>この脆弱性の影響により、細工されたファイルを展開する段階でマルウェアに感染させられる可能性があり、最終的に攻撃者によってシステムの制御権が乗っ取られる危険性があるという。</p>\n\n<p>Check Point Software Technologiesがどのようにこの脆弱性を発見したか、攻撃者がどのような手口でこの脆弱性を突いてマルウェアの感染を実施するのかは次のページに詳細がまとまっている。</p>\n\n<ul>\n<li><a href=\"https://research.checkpoint.com/extracting-code-execution-from-winrar/\">Extracting a 19 Year Old Code Execution from WinRAR - Check Point Research</a></li>\n</ul>\n\n<ul class=\"photo_table\">\n<li class=\"item-01\">\n<a class=\"photo_table__link\" href=\"https://news.mynavi.jp/photo/article/20190222-775563/images/001l.jpg\"><img class=\"photo_table__img lazyload\" alt=\"Extracting a 19 Year Old Code Execution from WinRAR - Check Point Software Technologies\" src=\"https://news.mynavi.jp/article/20190222-775563/images/001.jpg\"></a><p class=\"photo_table__caption\">「WinRAR」の操作画面</p>\n</li>\n</ul>\n\n<p>WinRARは世界中に5億人のユーザーがいると見られており、かなりの数の人がこの脆弱性の影響を受けるおそれがある。この脆弱性は19年以上にわたって存在していた可能性があることも指摘されている。</p>\n\n<p>WinRARの開発元はすでにこの脆弱性の原因となった形式のファイルサポートを廃止することを決定しており、WinRAR 5.70 beta 1ですでにACEフォーマットのサポートが中止されている。今後、ベンダーから提供される情報に注力するとともに、最新版が公開された場合には迅速にアップデートすることが望まれる。</p>\n\n </div></div>",
"author": "後藤大地",
"date_published": "2019-02-22T08:23:44.000Z",
"lead_image_url": "https://news.mynavi.jp/article/20190222-775563/index_images/index.jpg",
"dek": "Check Point Software Technologiesは2月20日(米国時間)、人気の高い圧縮・解凍ソフトウェアであるWinRARに長年にわたって脆弱性が存在していると伝えた。この脆弱性の影響で、細工されたファイルを展開する段階でマルウェアに感染させられる可能性があるという。",
"next_page_url": null,
"url": "https://news.mynavi.jp/article/20190222-775563/",
"domain": "news.mynavi.jp",
"word_count": 41,
"direction": "ltr",
"total_pages": 1,
"rendered_pages": 1
}
✅ All tests passed |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
This PR adds a custom parser for news.mynavi.jp that converts lazy-loaded images.