Camel to Solr

[pjwalstrom]

one thing we need to solve is

1. how Camel periodically should push results to Solr
2. how Camel should tell Solr that the result-set is complete

Camel multicasts requests to x (x>20) providers, like KLM, Solfaktor, SAS etc.

When responses are received, Camel should normalize EACH result (to a structure similar to e.g. http://opentravel.org/2012B/OTA_AirLowFareSearchRS.xsd) and immediately put the result to Solr. I.e. Camel should NOT wait for all results before pushed to Solr.

When Camel decides that the responses are complete (all results are received or request timed out), Camel must update Solr so the status for the request is COMPLETE (or something siimilar)

[audunstrand]

Hvorfor må solr vite at result er complete?

Audun Fauchald Strand
Den 5. feb. 2013 13:18 skrev "anif" [email protected] følgende:

one thing we need to solve is

1. how Camel periodically should push results to Solr
2. how Camel should tell Solr that the result-set is complete

Camel multicasts requests to x (x>20) providers, like KLM, Solfaktor, SAS
etc.

When responses are received, Camel should normalize EACH result (to a
structure similar to e.g.
http://opentravel.org/2012B/OTA_AirLowFareSearchRS.xsd) and immediately
put the result to Solr. I.e. Camel should NOT wait for all results before
pushed to Solr.

When Camel decides that the responses are complete (all results are
received or request timed out), Camel must update Solr so the status for
the request is COMPLETE (or something siimilar)

—
Reply to this email directly or view it on GitHubhttps://github.com//issues/8.

[pjwalstrom]

fordi "noen" driver og poller mot solr og presenterer resultater så fort de kommer inn. Må vite når de skal slutte og polle

[audunstrand]

Sånn ja. Kan man ikke snu på det, og polle bare når man må

Audun Fauchald Strand
Den 5. feb. 2013 14:37 skrev "PJ Walstroem" [email protected]
følgende:

fordi "noen" driver og poller mot solr og presenterer resultater så fort
de kommer inn. Må vite når de skal slutte og polle

—
Reply to this email directly or view it on GitHubhttps://github.com//issues/8#issuecomment-13129342.

[gtcno]

En annen ting jeg lurer på er sammenhengen mellom ferske data og det som ligger i Solr. Mente Geir snakket om at data som er 30 min gamle var å betrakte som ferske. Betyr det at man skal både søke solr og eksterne partnere? Og at treff solr kan erstatte eksterne treff?

[audunstrand]

Det i solr er vel knytta mot sesjonen. Men webappen spør bare solr tror jeg

Audun Fauchald Strand
Den 5. feb. 2013 14:41 skrev "gtcno" [email protected] følgende:

En annen ting jeg lurer på er sammenhengen mellom ferske data og det som
ligger i Solr. Mente Geir snakket om at data som er 30 min gamle var å
betrakte som ferske. Betyr det at dersom man skal både søke solr og
eksterne partnere? Og at treff solr kan erstatte eksterne treff?

—
Reply to this email directly or view it on GitHubhttps://github.com//issues/8#issuecomment-13129496.

[pjwalstrom]

gtcnp: ja, solr blir på en måte en cache. vet ikke helt hvordan det skal løses, men en tanke er å spørre solr først om data er "ferske" (30 min?). og slippe å spørre eksterne om det finnes i solr allerede

audunstrand: hvordan får man pollet bare når man må? push hadde vært fint, men hvordan få til det a?

[audunstrand]

Camel kan jo greit sende et signal til webappen, som trigger en poll.

Audun Fauchald Strand
Den 5. feb. 2013 14:47 skrev "PJ Walstroem" [email protected]
følgende:

gtcnp: ja, solr blir på en måte en cache. vet ikke helt hvordan det skal
løses, men en tanke er å spørre solr først om data er "ferske" (30 min?).
og slippe å spørre eksterne om det finnes i solr allerede

audunstrand: hvordan får man pollet bare når man må? push hadde vært fint,
men hvordan få til det a?

—
Reply to this email directly or view it on GitHubhttps://github.com//issues/8#issuecomment-13129701.

[pjwalstrom]

godt poeng

[audunstrand]

Om man skal polle, hva er det som styrer pollingen, er det browseren?

[gtcno]

Er jo litt på tynn is her . Men har du googlet på f.eks jquery long polling?
F.eks et WS-kall som starter prosessen og returner et rss-feed som man kan polle på.

Har du googlet noe på AJAX push? Kan det være et push alternativ.

[audunstrand]

Er det jeg tenkte, om man har en måte å trigge den pullen på, så kan man gjøre det fra camel, like gjerne som en klokke av noe slag

[audunstrand]

Men da blir det rss-feedt bare et signal om nye resultater, for å få fasettering og slikt må man hente fra solr. Eller nei, om man har en rss-feed har man jo samme problemet, man vet fortsatt ikke når man skal slutte å polle den.